hadoop分布式环境搭建

1.克隆虚拟机后，要修改虚拟机名字及ip地址，mac地址 

方法：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

重启网络服务： service network restart

查看： ifconfig    里面有相关信息 

2，linux root权限分配以及修改hosts文件

 

    因为一些操作需要用到root权限，所以要给hadoop用户分配sudo权限。

 

   （1）命令：su   root  （切换到root用户）

        输入密码

   （2）命令：chmod u+w /etc/sudoers （给sudoers增加写权限）

   （3）命令：vi /etc/sudoers  （修改sudoers文件）

        执行命令后会进入sudoers文件的查看模式，该模式下按“i”进入文件修改模式，

        然后在root ALL=(ALL)  ALL下方增加hadoop ALL=(ALL)NOPASSWD:ALL  按 “esc”键推出修改模式，大写模式下，按两次“z”保存退出。

 

    （4）命令：chmod u-w /etc/sudoers （撤销sudoers文件的写权限）

    （5）命令：vi /etc/hosts     （修改hosts文件）

         按下面的格式修改，切记，ip地址要写自己的    

192.168.118.128 Master

192.168.118.129 Slave1

3.免密钥登录 

使用下例中ssky-keygen和ssh-copy-id，仅需通过3个步骤的简单设置而无需输入密码就能登录远程Linux主机。 
ssh-keygen 创建公钥和密钥。 
ssh-copy-id 把本地主机的公钥复制到远程主机的authorized_keys文件上。
ssh-copy-id 也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限 。

步骤1: 用 ssh-key-gen 在本地主机上创建公钥和密钥
ligh@local-host$ ssh-keygen -t  rsa
Enter file in which to save the key (/home/jsmith/.ssh/id_rsa):[Enter key] 
Enter passphrase (empty for no passphrase): [Press enter key]
Enter same passphrase again: [Pess enter key]
Your identification has been saved in /home/jsmith/.ssh/id_rsa.
Your public key has been saved in /home/jsmith/.ssh/id_rsa.pub. 
The key fingerprint is: 33:b3:fe:af:95:95:18:11:31:d5:de:96:2f:f2:35:f9 
ligh@local-host

步骤2: 用 ssh-copy-id 把公钥复制到远程主机上
ligh@local-host$ ssh-copy-id -i ~/.ssh/id_rsa.pub  root@192.168.0.3
ligh@remote-host‘s password:
Now try logging into the machine, with ―ssh ?remote-host‘‖, and check in: 
.ssh/authorized_keys to make sure we haven‘t added extra keys that you weren‘t expecting.
[注: ssh-copy-id 把密钥追加到远程主机的 .ssh/authorized_key 上.]

步骤3: 直接登录远程主机
ligh@local-host$ ssh remote-host 
Last login: Sun Nov 16 17:22:33 2008 from 192.168.1.2 

3.将jdk，hadoop压缩包拷贝到/home/hadoop/usr中 

解压：tar -xzvf jdk压缩包名

4.设置jdk环境变量

这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export JRE_HOME=/usr/local/java/jdk1.7.0_45/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

 

请记住，在上述添加过程中，等号两侧不要加入空格，不然会出现“不是有效的标识符”，因为source /etc/profile 时不能识别多余到空格，会理解为是路径一部分。

然后保存

source /etc/profile

 使profile生效

5.

)hadoop安装完毕需要配置hadoop的一些文件，准备工作先建立几个文件夹

home/hadoop/usr/dfs/name

home/hadoop/usr/dfs/data

home/hadoop/usr/tmp

6：修改配置文件

          hadoop-env.sh：   

[html]  view plain  copy

 

1. export JAVA_HOME=/opt/java  

          core-site.xml：

[html]  view plain  copy

 

1. <configuration>  
2.   <property>  
3.     <name>fs.default.name</name>  
4.     <value>hdfs://master1:9000</value>  
5.   </property>  
6.   <property>  
7.     <name>hadoop.tmp.dir</name>  
8.     <value>/opt/hadoop/tmp</value>  
9.   </property>  
10. </configuration>  

            hdfs-site.xml：

[html]  view plain  copy

 

1. <configuration>  
2.   <property>  
3.     <name>dfs.replication</name>  
4.     <value>2</value>  
5.   </property>  
6.   <property>  
7.     <name>dfs.namenode.name.dir</name>  
8.     <value>file:/opt/hadoop/dfs/name</value>  
9.   </property>  
10.   <property>  
11.     <name>dfs.datanode.data.dir</name>  
12.     <value>file:/opt/hadoop/dfs/data</value>  
13.   </property>  
14. </configuration>  

         mapred-site.xml：

[html]  view plain  copy

 

1. <configuration>  
2.   <property>  
3.     <name>mapreduce.framework.name</name>  
4.     <value>yarn</value>  
5.   </property>  
6.   <property>  
7.     <name>mapreduce.jobhistory.address</name>  
8.     <value>Master:10020</value>  
9.   </property>  
10.   <property>  
11.     <name>mapreduce.jobhistory.webapp.address</name>  
12.     <value>Master:19888</value>  
13.   </property>  
14. </configuration>  

         yarn-site.xml：

[html]  view plain  copy

 

1. <configuration>  
2.   
3. <!-- Site specific YARN configuration properties -->  
4.   <property>  
5.     <name>yarn.nodemanager.aux-services</name>  
6.     <value>mapreduce_shuffle</value>  
7.   </property>  
8.   <property>  
9.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
10.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
11.   </property>  
12.   <property>  
13.     <name>yarn.resourcemanager.address</name>  
14.     <value>Master:8032</value>  
15.   </property>  
16.   <property>  
17.     <name>yarn.resourcemanager.scheduler.address</name>  
18.     <value>Master:8030</value>  
19.   </property>  
20.   <property>  
21.     <name>yarn.resourcemanager.resource-tracker.address</name>  
22.     <value>Master:8031</value>  
23.   </property>  
24.   <property>  
25.     <name>yarn.resourcemanager.admin.address</name>  
26.     <value>Master:8033</value>  
27.   </property>  
28.   <property>  
29.     <name>yarn.resourcemanager.webapp.address</name>  
30.     <value>Master:8088</value>  
31.   </property>  
32. </configuration>  

    7：编辑slaves文件

        清空加入从节点的名字

        slave1

        slave2

  8：在master节点格式化hdfs

           bin/hdfs namenode -format

           

          看见status 0表示安装成功

9.启动

sbin/start-all.sh

jps 查看启动进程

10 网页版查看 

：http://192.168.48.130:8088/

：http://192.168.48.130:50070

11.若节点启动成  网页打不开  可能是防火墙没有关闭