配置Hadoop是一件非常令人苦恼的事情,因为刚开始学习不知道哪里是什么功能,弄了一遍又一遍还是不行,瞬间可能放弃掉,尤其是不大熟悉Linux的人
下面我还是一步一步给大家讲解,大家跟着步骤来
用hadoop用户建立一个文件夹mkdir opt,我自己直接建立了一个文件夹叫opt,
然后 在把你的hadoop的压缩包上传,不会上传的看我昨天的文章,上传了以后直接解压到opt文件中,我下载的是hadoop-2.6.4,然后在opt文件下执行命令 tar -zxvf hadoop.tar.gz。
解压完成过后就要开始修改各种文件了,共有六个地方 前方高能,大家准备好
1.修改hadoo-env.sh
首先进入到hadoop目录下,我的目录是opt/hadoop-2.6.4/etc/hadoop
然后执行这个命令 vi hadoop-env.sh
执行完成后修改文件,在最后加入两条语句
export JAVA_HOME=user/java/jdk1.8.0_121
export HADOOP_HOME=opt/hadoop-2.6.4
好了第一步完成。
下面修改第二个文件
vi core-site.xml
这个配置提供HDFS服务的主机名和端口号,也就是说HDFS通过master的9000端口提供服务,也指明了Namenode所运行的节点
好了修改完毕后,:wq!保存一下,这个文件ok
第三修改hdfs-site.xml
?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- 4 Licensed ... -->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>opt/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>opt/hdfs/data</value>
</property>
</configuration>
第四个文件修改 mapred-site.xml
修改成如下格式 该配置的主要目的指明了MapReduce计算框架YARN的进行工作
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"herf="configuration.xsl"?>
<configuration>
<property>
<name>mepreduce.framework.name</name>
<value>yarn</value>
<property>
</configuration>
第五个文件修改yarn-site.xml
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8080</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8082</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
该配置指明了ResourceManager服务的主机号和端口号还指明了mapreduce.shuffle的类
第六个文件
修改你的主节点,因为咱们是伪分布式所以不用添加多个节点,完全分布式才是多个节点
修改slaves
直接写一个master就ok了
修改完这六个文件不要以为就大功告成了,因为下面还有好多东西,咱们继续
下一步配置免密码登陆
在你的每一个CenOs系统上都设置钥匙
全部运行
ssh-keygen -t rsa
然后连续三次回车
好的设置完毕
然后需要将公钥发至本机的authorized_keys节点
为了让你能在任何路径下使用hadoop命令,在root命令下添加命令
执行命令vi /etc/profile
export HADOOP_HOME=opt/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin
最后一步格式化HDFS
在hadoop模式下执行
hadoop name -format
成功的话会提醒 successfully formatted
这样三个hadoop就配置完成了。