虚拟机设置
- 这里使用centos6@Fusion
- 网络设置NAT。记下MAC地址
- 在本地
vi /Library/Preferences/VMware Fusion/vmnet8
添加
host node00 {
hardware ethernet 00:50:56:20:E3:9E;
fixed-address 192.168.106.100;
}
- 重启虚拟机
- 在虚拟机node00
vi /etc/sysconfig/networking-scripts/ifcfg-eth0
TYPE=Ethernet
HWADDR=00:50:56:20:E3:9E
IPADDR=192.168.106.100
NETMASK=255.255.255.0
service network restart
- 此时可互相ping通
伪分布式 (single node setup)
- 安装jdk
rpm -ivh jdk-7u67-linux-x64.rpm
在/etc/profileexport JAVA_HOME=/usr/java/jdk1.7.0_67 PATH=$PATH:$JAVA_HOME/bin
重resource。。此时可jps - 免秘钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
-
hadoop包安装并配置环变:hadoop-2.6.5.tar.gz
tar -xvf hadoop-2.6.5.tar.gz
在/etc/profileexport HADOOP_HOME=/usr/local/hadoop-2.6.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
重新resource -
Hadoop的第二次JAVA_HOME 环境变量配置
vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_67
-
配置core-site.xml
fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir /var/hadoop
vi core-site.xml -
配置hdfs-site.xml
dfs.replication 1 dfs.namenode.secondary.http-address localhost:50090 -
配置slaves文件
-
格式化hdfs
hdfs namenode -format (只能格式化一次,再次启动集群不要执行) -
启动集群
start-dfs.sh -
角色进程查看:jps
帮助: hdfs
hdfs dfs -
主机查看web UI: IP:50070,此时发现无法连接。
关闭防火墙service iptables stop
chkconfig iptables off
-
创建目录:hdfs dfs -mkdir -p /user/root 查看目录: hdfs dfs -ls / 上传文件: hdfs dfs -put hadoop-2.6.5.tar.gz /user/root 停止集群:stop-dfs.sh