hadoop的配置

这几天在安装hadoop，发现他的配置太繁琐了，这里就记下来，怕自己给忘了。安装这里就不说了，挺简单的，直接下载然后解压就行了重点说说配置。

配置前准备

配置IP、主机名映射

输入vim /etc/hosts

192.168.0.130 admin01
192.168.0.131 admin02
192.168.0.132 admin02
前面是你的要配置的IP地址，后面是你要映射的主机名，这个随便你取，只需要后面的对应就行了，我这里取的是admin01，02，03。

配置ssh免密登陆

生成ssh免密登陆密钥，输入ssh-keygen -t rsa，然后按四次回车键。
执行后后会生成id_rsa,id_rsa_pub，将公钥拷贝到要免密登陆的目标机器上ssh-copy-id admin01，ssh-copy-id admin02，ssh-copy-id admin03。
这里因为只需要在admin01机器上免密登陆，所以只需要在admin01复制就可以了，这里需要注意的是，因为admin01在自己这边登陆，也是需要输入密码的，所以也要配置免密登陆。完成后输入ssh admin01，看看是否需要输入密码。

配置防火墙

输入service IP tables status 查看防火墙是否关闭，没关的话输入service iptables stop 关闭防火墙，为了下次重启时自动关闭防火墙，输入chkconfig iptables off。

JDK环境安装

先使用命令 rpm -qa | grep java，查看本地是否安装了open JDK，有的话我们使用rpm -e --nodeps XXXXX(jdk名) 卸载open jdk

使用命令tar zxvf jdk1.8.0_181，安装Java jdk，我这里使用的是jdk1.8，然后配置jdk环境，vim /etc/profile命令，

export JAVA_HOME=/opt/modules/jdk1.8.0_181 

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

JAVA_HOME后面跟的是你的jdk安装路径，别的不用修改，修改完后wq保存，然后输入source /etc/profile重新编译一下profile文件生效。

hadoop的配置

进入到hadopp的安装目录

这是Hadoop的目录，输入cd etc/hadoop/

这个目录下有这些文件，我们要配置的文件都在这里面。

输入 vim hadoop-env.sh，配置hadoop-env.sh的JAVA_HOME

后面是你的JAVA_HOME路径，这里不管你有没有配置全局的JAVA_HOME，这里都使用这个路径下的JAVA_HOME。

输入 vim mapred-env.sh

<property>
    <name>fs:defaultFS</name>
    <value>hdfs://admin01:9000</value>
</property>

<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/admin/data/hddata</value>
</property>

admin01是你设置namenode那台机器的主机名，后面是端口号，下面的文件存储的路径，这里要注意修改一下。

输入 vim hdfs-site.xml，2表示你要复制的副本数量，这个随你设置，我这里因为总共就3台机器，我设置的是2。

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>admin02:50090</value>
</property>

接下来我们要配置的是mapred-site.xml文件，但是因为系统没有给我们生成这个文件，但给我们生成了一个 mapred-site.xml.template模板，所以我们要先将这个文件改成 mapred-site.xml文件。输入mv mapred-site.xml.template mapred-site.xml，然后输入vim mapred-site.xml ，直接将下面的复制过去，这里不需要修改。

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

接下来，我们就应该配置yarn集群了，输入 vim yarn-site.xml，复制下面配置，记得修改主机名。

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>admin01</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce-shuffle</value>
</property>

输入vim slaves ，配置slaves节点，直接输入你给三台机器配置的主机名就行了。

admin01
admin02
admin03

然后我们还要在profile里配置HADOOP_HOME，输入 vim /etc/profile，复制下面配置，记得修改hadoop路径，然后source /etc/profile重新编译。

export HADOOP_HOME=/opt/modules/hadoop-2.5.0-cdh5.3.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

至此，hadoop的配置已经完成了。
然后使用scp命令把我们的配置文件复制到admin02，admin03上，复制完后记得要source一下

scp -r /opt/modules/hadoop-2.5.0-cdh5.3.6/ admin02:/opt/modules/
scp -r /opt/modules/hadoop-2.5.0-cdh5.3.6/ admin03:/opt/modules/
scp -r /etc/profile admin02:/etc/
scp -r /etc/profile admin03:/etc/

最后，我们还要格式化一下hadoop，输入hdfs namenode -format， 在admin01上进行操作，只能进行一次。

hadoop 开启跟关闭

进入sbin目录，可以看到有一下文件。

./start-dfs.sh，开启hdfs集群
./start-yarn.sh，开启yarn集群
然后输入jps查看是否开启成功
./stop-dfs.sh，关闭hdfs集群
./stop-yarn.sh，关闭yarn集群