系统配置
(1)以root身份打开vim /etc/sysconfig/network
修改HOSTNAME=node3
(2)vim /etc/hosts添加
192.168.10.198 node1
192.168.10.199 node2
192.168.10.228 node3
(3)重启init6
(4)每个节点都有相同的用户例如:hadoop(账号默认的主目录为:/home/hadoop)
用有root权限的用户登录系统,执行:
[root@node1:~]$vim /etc/sudoers
在打开的文件中加入:hadoop ALL=(ALL) ALL
注:方便hadoop用户访问和修改系统文件与配置
(5)添加用户 useradd hadoop
su hadoop 切换用户名为hadoop
(6)生成密钥:
[hadoop@node1:~]ssh-keygen -t dsa -P '' 一路回车
[hadoop@node1:~]cd /home/hadoop/.ssh/
[hadoop@node1:~]ls
[hadoop@node1:~]cp id_dsa.pub authorized_keys
(7)把authorized_keys文件拷贝到各NameNode节点上
??[hadoop@node1 .ssh]$scp authorized_keys hadoop@192.168.10.198:/home/hadoop/.ssh/
并在各节点设置权限,例如:
[hadoop@node2.ssh]$ chmod 644 authorized_keys
(8)对ssh服务进行配置,去除密码验证,在每个节点上对/etc/ssh/sshd_config文件进行修改,例如:
[hadoop@node2:~]$sudo vi /etc/ssh/sshd_config
在文件中进行如下修改:
去除#
PasswordAuthentication no
AuthorizedKeysFile .ssh/authorized_keys
重启sshd服务:
sudo /etc/init.d/sshd restart
(一)安装jdk
(1)安装jdk
yum install -y java*
(2)配置JAVA环境变量
vim /etc/profile
添加
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/jre
export CLASSPATH=.:/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/jre/lib
export PATH=$JAVA_HOME/bin
(3)执行 chmod +x /etc/profile ,把profile变成可执行文件
执行 source /etc/profile,把profile里的内容执行生效
(4)执行,java、javac、java -version 查看是否安装成功.
(二)安装ssh
(1)设置不用登陆密码
cd /root
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 644 authorized_keys
(2)完成后登录不用输入密码,第一次需要输入回车键。
$ ssh localhost
$ exit
(三)修改linux机器名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoopName
把HOSTNAME改成你想要的机器名,我改成了hadoopName,然后保存
vim /etc/hosts
192.168.10.197 hadoopName hadoopName
修改完后,执行hostname 就能看到自己新改的机器名了
(四)安装hadoop
http://archive.apache.org/dist/hadoop/core/下载hadoop-0.20.204.0.tar.gz
(1)解压tar zxf hadoop-0.20.204.0.tar.gz
mv hadoop-0.20.204.0 /usr/local
(2)修改配置
vim /usr/local/hadoop-0.20.204.0/conf/hadoop-env.sh
添加
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/jre
经历以上步骤,所有文件修改完毕,已经设置好Hadoop单机测试环境,下面将是启动Hadoop服务。
格式化Namenode
cd /usr/local/hadoop-0.20.204.0/
bin/hadoop namenode -format
启动所有hadoop服务
bin/start-all.sh
单机测试
cd /usr/local/hadoop-0.20.204.0/
mkdir test-in
cd test-in
echo "hello world bye world">file1.txt
echo "hello hadoop goodbye hadoop">file2.txt
cd ..
bin/hadoop jar hadoop-examples-0.20.204.0.jar wordcount test-in test-out
cd test-out
cat part-00000