hadoop学习的第二天---配置Hadoop环境(少走弯路，详细教程)

配置Hadoop是一件非常令人苦恼的事情，因为刚开始学习不知道哪里是什么功能，弄了一遍又一遍还是不行，瞬间可能放弃掉，尤其是不大熟悉Linux的人

下面我还是一步一步给大家讲解，大家跟着步骤来

用hadoop用户建立一个文件夹mkdir opt，我自己直接建立了一个文件夹叫opt，

然后 在把你的hadoop的压缩包上传，不会上传的看我昨天的文章，上传了以后直接解压到opt文件中，我下载的是hadoop-2.6.4，然后在opt文件下执行命令   tar -zxvf hadoop.tar.gz。

解压完成过后就要开始修改各种文件了，共有六个地方 前方高能，大家准备好

1.修改hadoo-env.sh

首先进入到hadoop目录下，我的目录是opt/hadoop-2.6.4/etc/hadoop  

然后执行这个命令   vi hadoop-env.sh

执行完成后修改文件，在最后加入两条语句

export JAVA_HOME=user/java/jdk1.8.0_121

export HADOOP_HOME=opt/hadoop-2.6.4

好了第一步完成。

下面修改第二个文件

vi core-site.xml

这个配置提供HDFS服务的主机名和端口号，也就是说HDFS通过master的9000端口提供服务，也指明了Namenode所运行的节点

好了修改完毕后，：wq！保存一下，这个文件ok

第三修改hdfs-site.xml

     

?xml version="1.0" encoding="UTF-8"?> 

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<!-- 4 Licensed ... --> 

<configuration>  

<property> 

<name>dfs.replication</name> 

<value>3</value> 

</property> 

<property> 

<name>dfs.name.dir</name> 

<value>opt/hdfs/name</value> 

</property> 

<property> 

<name>dfs.data.dir</name> 

<value>opt/hdfs/data</value>

</property> 

</configuration>

第四个文件修改 mapred-site.xml

修改成如下格式  该配置的主要目的指明了MapReduce计算框架YARN的进行工作

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"herf="configuration.xsl"?>
<configuration>
  <property>
    <name>mepreduce.framework.name</name>
     <value>yarn</value>
  <property>
</configuration>

第五个文件修改yarn-site.xml

<property>


<name>yarn.resourcemanager.address</name>


<value>master:8080</value>


</property>


<property>


<name>yarn.resourcemanager.resource-tracker.address</name>


<value>master:8082</value>


</property>


<property>


<name>yarn.nodemanager.aux-services</name>


<value>mapreduce.shuffle</value>


</property>


<property>


<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>


<value>org.apache.hadoop.mapred.ShuffleHandler</value>


</property>

该配置指明了ResourceManager服务的主机号和端口号还指明了mapreduce.shuffle的类

第六个文件

修改你的主节点，因为咱们是伪分布式所以不用添加多个节点，完全分布式才是多个节点

修改slaves

直接写一个master就ok了

修改完这六个文件不要以为就大功告成了，因为下面还有好多东西，咱们继续

下一步配置免密码登陆

在你的每一个CenOs系统上都设置钥匙

全部运行

ssh-keygen -t rsa

然后连续三次回车

好的设置完毕

然后需要将公钥发至本机的authorized_keys节点

为了让你能在任何路径下使用hadoop命令，在root命令下添加命令

执行命令vi /etc/profile

export HADOOP_HOME=opt/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin

最后一步格式化HDFS

在hadoop模式下执行

hadoop name -format

成功的话会提醒 successfully formatted

这样三个hadoop就配置完成了。