[hadoop]#12_hadoop环境搭建(伪分布式)

虚拟机设置

1. 这里使用centos6@Fusion
2. 网络设置NAT。记下MAC地址
3. 在本地 vi /Library/Preferences/VMware Fusion/vmnet8
   添加

host node00 {
   hardware ethernet 00:50:56:20:E3:9E;
   fixed-address 192.168.106.100;
}

4. 重启虚拟机
5. 在虚拟机node00 vi /etc/sysconfig/networking-scripts/ifcfg-eth0

TYPE=Ethernet
HWADDR=00:50:56:20:E3:9E
IPADDR=192.168.106.100
NETMASK=255.255.255.0

6. service network restart
7. 此时可互相ping通

---

伪分布式 （single node setup）

1. 安装jdkrpm -ivh jdk-7u67-linux-x64.rpm
   在/etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67 PATH=$PATH:$JAVA_HOME/bin 重resource。。此时可jps
2. 免秘钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. hadoop包安装并配置环变：hadoop-2.6.5.tar.gz
   tar -xvf hadoop-2.6.5.tar.gz
   在/etc/profileexport HADOOP_HOME=/usr/local/hadoop-2.6.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin重新resource

4. Hadoop的第二次JAVA_HOME 环境变量配置
   vi hadoop-env.sh
   vi mapred-env.sh
   vi yarn-env.sh
   export JAVA_HOME=/usr/java/jdk1.7.0_67

5. 配置core-site.xml
   vi core-site.xml

   fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir /var/hadoop

6. 配置hdfs-site.xml

   dfs.replication 1 dfs.namenode.secondary.http-address localhost:50090

7. 配置slaves文件

8. 格式化hdfs
   hdfs namenode -format (只能格式化一次，再次启动集群不要执行）

9. 启动集群
   start-dfs.sh

10. 角色进程查看：jps
    帮助： hdfs
    hdfs dfs

11. 主机查看web UI: IP:50070，此时发现无法连接。
    关闭防火墙service iptables stop chkconfig iptables off

12.  创建目录：hdfs dfs  -mkdir -p  /user/root
    
    查看目录:  hdfs dfs -ls   /
    
     上传文件： hdfs dfs -put  hadoop-2.6.5.tar.gz   /user/root				
    
     停止集群：stop-dfs.sh