安装hadoop-1.2.1 集群
1、上传 解压 tar zxvf hadoop-1.2.1-bin.tar.gz
在 /usr/local/src 下
tar zxvf hadoop-1.2.1-bin.tar.gz
cd /hadoop-1.2.1/
mkdir tmp
2、配置 masters、slaves
cd /conf
vi masters 内容改为 master
vi slaves 内容改为 :
slave1
slave2
3、修改 core-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/src/hadoop-1.2.1/tmp</value> </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.157.10:9000</value> </property> </configuration>
4、修改 mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>http://192.168.157.10:9001</value> </property> </configuration>
5、修改 hdfs-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
6、修改 hadoop-env.sh
设置 :export JAVA_HOME=/usr/local/src/jdk1.6.0_45
7、配置hostname
7.1 修改 hosts文件
vi /etc/hosts 添加:
192.168.157.10 master
192.168.157.11 slave1
192.168.157.12 slave2
7.2 配置hostname
(当前是 master节点,其他节点 使用对应 hostname值) 使hostname临时生效:hostname master
使之永久生效: vim /etc/sysconfig/network
(master节点)改为 HOSTNAME=master
8、Hadoop文件夹复制到 slave节点
scp -rp hadoop-1.2.1 192.168.157.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.157.12:/usr/local/src/
9、修改slave 的hostname
参考 7 中修改 hosts 、hostname
10、关闭iptables
临时关闭: /etc/init.d/iptables stop
检查状态:/etc/init.d/iptables status
永久关闭: chkconfig --level 35 iptables off
11、配置 ssh无密码登录:
cd ~/.ssh
ls 看到文件 :id_rsa id_rsa.pub
touch authorized_keys
cat id_rsa.pub > authorized_keys
在每个slave节点都执行一边 ssh-keygen ,并将所有slave节点的 id_rsa.pub 内容追加到 authorized_keys
把master 节点的 authorized_keys 复制到 slave节点上
在master节点尝试登陆 slave1 slave2 :
ssh slave1
ssh slave2
12、格式化
cd bin
./hadoop namenode -format
13、启动集群
14、查看Java进程
master节点:
[root@master bin]# jps
3505 NameNode
3664 SecondaryNameNode
4430 Jps
3738 JobTracker
slave节点:
[root@slave1 ~]# jps
3641 TaskTracker
3554 DataNode
4056 Jps
15、测试
./hadoop fs -ls /
上传文件:./hadoop fs -put /etc/passwd /
查看文件:./hadoop fs -ls /passwd