Hadoop的安装(单机、伪分布、完全分布)

安装单机模式

1.设置Hadoop配置文件

进入Hadoop配置文件所在目录，修改hadoop-env.sh文件

 

 2.测试Hadoop

   创建输入文件(input),在data.txt中写下内容，运行Mapreduce WordCount例子

       

    

  

  

安装伪分布式模式

1.修改主机名，进入修改，修改之后重启(sudo reboot)

  

 设置静态IP

   

  

 将设置的网络应用

2.免密登录设置

(1)生成密钥对，其中会生成公钥和私钥

 (2)追加公钥

 (3)免密登录验证(命令exit退出gzt03登录,路径改变为原来的路径)

设置Hadoop配置文件

打开命令

(1)设置hadoop-env.sh文件

(2)设置core-site.xml文件(注意这里需要改成自己的主机名和用户名)

 

(3)设置hdfs-site.xml文件

(4)设置mapred-site.xml文件

   复制 

 

 (5)设置yarn-site.xml文件

 

 (6)格式化HDFS

 

(7)启动Hadoop

  

 (8)jps验证Hadoop进程

  

  (9)通过web访问Hadoop

  

  

  

安装完全分布式模式

1.首先设置静态IP，修改主机名(注意改完主机名之后要进行重启）上面有类似的命令

2.之后修改映射，对三台主机依次修改/etc/hosts文件

  

  

3.进行免密登录设置

(1)在三台主机上生成密钥对

     

     

 (2)将gzt8的公钥复制到gzt8.gzt9.gzt10主机上

   

  

  

  

 

 4.修改Ubuntu时区并进行时区同步，三台主机上都进行修改

 5.安装NTP服务，首先三台主机上分别安装NTP服务，之后查看时间服务是否运行。

 

 

 6.设置Hadoop配置文件

 (1)修改hadoop-env.sh

(2)修改yarn-env.sh

(3)修改core-site.xml(这里需要自己建立tmp文件，三台主机都需要建立)

 (4)修改hdfs-site.xml

 (5)修改mapred-site.xml(这里需要先复制cp mapred-site.xml.template mapred-site.xml)

 (6)修改yarn-site.xml

(7)修改slaves文件(先进入Hadoop文件夹下)

 

(8)之后进行分发配置

6.格式化HDFS

 7.启动Hadoop

 8.验证Hadoop进程

 9.通过web访问Hadoop