Hadoop环境配置

现有环境配置

centos64位（三台）

finalshell（远程连接虚拟机的软件）

hadoop安装包

jkd安装包

本次总体分四部

第一步是配置虚拟机基本环境（包括网络的配置、一些插件的下载、免密登录的设置、防火墙的关闭、主机名的设置），因为hadoop是分布式系统，所以进行上述配置是为了后面操作方便。

搭建好虚拟机后，首先要检测一下网路是否正常，最简单的方法就是ping baidu.com

如果网络没连接可能是在安装的部分除了问题或者可以尝试以下操作：

然后在网络适配器上选择Nat模式 

 

接下来就是在安装时如若选择的最小安装就需要一些组件的下载比如 net-tools和vim

安装net-tools

yum install net-tools -y

安装vim

yum install vim -y

然后使用ifconfig命令查询一下我们ip（192开头的就是）

打开finalshell 连接我们的三台主机（连接很简单，起个名字、输入主机ip、用户名密码即可）

连接成功后我们第一步就是关闭三台主机的防火墙

首先将防火墙暂停服务

systemctl stop firewalld

然后关闭

systemctl disable firewalld.service

最后检查一下关闭是否成功(显示die即为成功哦）

systemctl status firewalld

完事关闭防火墙就好了（关闭防火墙是为了不同节点之间的通信和传输更为方便）

接下来就是配置三台机器的免密登录了

首先在第一台计算机中生成密钥

ssh-keygen -t rsa

完事儿四个回车就可以生成密钥了

密钥文件为.ssh的隐藏文件 一般在自己的root目录，或者根目录

尝试cd .ssh 进入文件夹会看到两个文件就是生成的密钥了

将密钥分发给三台虚拟机（自己操作的这台虚拟机也要哦）

使用ssh-copy-id 文件位置 机器用户名@机器ip

到后面输入密码即可

三台计算机都是如此操作

操作完后 检查是否成功就

ssh他的主机名 看是否进入那台主机

完成后exit退出

至此三台计算机的免密登录就完成了。

还有就是主机名的设置

主机ip映射在

/etc/hosts 文件中使用 vim工具进入

在后面加上

主机名 空格 想要映射的字符

至此第一环节结束了

本环节主要是为分布式做一个简单的环境配置。

第二步是jkd的安装安装及环境的配置（安装jdk的原因是Hadoop的组件是Java编译的，因此在执行过程中需要java用来运行）

首先创建一个文件夹 （起什么名字都可以）

mkdir /server/ruanjian/ -p (-p起到的作用是递归创建，多级创建需要加上）

用finalshell把jdk文件上传上来

然后解压

tar -zxvf 文件名（打一半可以用tab补全）

解压完成后需要配置jdk的环境变量（java在运行时需要指定在操作系统的运行一些环境的参数）

需要在

/etc/profile 中

用vim编辑 将java的路径写进去

export JAVA_HOME=你的路径

然后配置path（让我们无论在哪个文件夹下都可以使用java功能）

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar         

然后source /etc/profile使环境生效。

查看一下是否配置成功

java -version

分发给其他主机

scp -r  /etc/profile root@主机名:分发的路径

显示版本既是成功

第三步是hadoop的安装及环境的配置

将hadoop的安装包上传

解压

tar -zxvf 安装包

配置 /etc/profile

export HADOOP_HOME=你的路径

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置 Hadoop的hadoop.env.sh

将java路径写入

export JAVA_HOME=你的路径

配置 corte.site.xml

写入hdfs的默认地址

<property>

<name>fs.defaultFS</name>

<value>hdfs://你的主机：9000</value>

</property>

hadoop运行的临时文件

<property>

<name>hadoop.tem.dir</name>

<value>路径</value>

</property>

配置 hdfs.site.xml

hdfs储存的副本数量

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

配置mapreduce.site.xml

指定mapreduce在哪儿执行

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

配置yarn.site.xml                                                                                                                                 指定rescourcemanager的主机名

<property>

<name>yarn.resourcemanager.hostname</name>

<value>主机名</value>

</property>

mapreduce能运行的关键

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

然后拷贝给其他两台虚拟机

scp -r hadoop路径 root@主机名：目标路径                              

第四步是初始化Hadoop集群和启动Hadoop的组件

最后一步也是最重要的一步就是初始化hadoop

hadoop namenode -format

没报错就是成功了

最后启动Hadoop组件

start-all.sh

jps查看一下

若没问题

就完成了hadoop的安装