安装hadoop及相关配置

1.上一篇完成了JDK的安装，由于已经把Hadoop包存放在/usr/local/src/目录下，现在只需要找出来解压就可以啦。
[root@localhost src]#tar xvzf hadoop-1.2.1-bin.tar.gz
解压成功后在当前目录下显示

2．进入hadoop-1.2.1，新增一项tmp目录，用于存放Hadoop在运行过程中产生的一些临时文件：
[root@localhost hadoop-1.2.1]# mkdir tmp

3.找到hadoop-1.2.1目录下的conf目录，ls查看

vim masters
把里面内容改为master

vim slaves 进入后改为
slave1
slave2

接下来分别配置这几项文件

vim core-site.xml

hadoop.tmp.dir /usr/local/src/hadoop-1.2.1/tmp fs.default.name hdfs://192.168.237.10:9000 配置存放临时目录的地址与路径 vim mapred-site.xml mapred.job.tracker hdfs://192.168.237.10:9001

vim hdfs-site.xml

dfs.replication
3

vim hadoop-env.sh
最后加
export JAVA_HOME=/usr/local/src/jdk1.6.0_45

指定当前机器的hostname与ip地址关联
vim /etc/hosts 在后面加上：（设置后如果访问分节点直接输slave1或slave2就行，不需要输入IP地址）
192.168.237.10 master
192.168.237.11 slave1
192.168.237.12 slave2

[root@localhost conf]# hostname master （执行使master生效，临时的）

vim /etc/sysconfig/network （永久生效）
HOSTNAME=master

到这里就完成了第一台机器Hadoop的安装配置。接下来是把解压好的Hadoop复制到1,2号机上。

scp -rp hadoop-1.2.1 192.168.237.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.237.12:/usr/local/src/

查看里面配置过的文件有没出错，cat 命令查看。
但是每台机器内的hostname与IP要统一关联：
vim /etc/hosts
192.168.237.10 master
192.168.237.11 slave1
192.168.237.12 slave2

vim /etc/sysconfig/network
1机： HOSTNAME=slave1
2机： HOSTNAME=slave1

关闭系统防火墙
[root@localhost src]# PATH=$PATH:$HOME/bin:/sbin:/usr/bin:/usr/sbin
[root@localhost src]# setenforce 0
[root@localhost src]# /etc/init.d/iptables stop
[root@localhost src]# iptables –L
[root@localhost src]# getenforce

接着是建立机器之间的免密登录，主机+1号+2号
[root@localhost src]# ssh-keygen
[root@localhost src]# cd ~/.ssh/ （打开隐藏目录）
ls发现并没有authorized_keys，然后我们自己创建一个：
[root@localhost .ssh]# touch authorized_keys

[root@localhost .ssh]# cat id_rsa.pub > authorized_keys

编辑主机的authorized_keys，把三台机的公钥都存在里面
然后远程复制authorized_keys到1,2号机的隐藏目录内：
[root@localhost .ssh]# scp -rp authorized_keys slave1:~/.ssh/

[root@localhost .ssh]# scp -rp authorized_keys slave2:~/.ssh/

复制完毕后在主机登录slave1，slave2

能直接登录不需要密码。分机登录主机也同样不需要密码。

接着回到主机，打开Hadoop目录bin文件，启动Hadoop之前需要先格式化：
[root@localhost bin]# ./hadoop namenode –format

启动机器：
[root@localhost bin]# ./start-all.sh

[root@localhost bin]# jps 查看进程
主机已启动成功。

接下来是查看Hadoop是否能正常运行，上传文件。
./hadoop fs -ls / 【列出在指定目录下的文件内容】
./hadoop fs -put /etc/passwd / 【从本地系统拷贝文件到DFS】【DFS又名深度优先检索】
./hadoop fs -cat /passwd 【展示文件内容】
[root@localhost src]#tar xvzf hadoop-1.2.1-bin.tar.gz
解压成功后在当前目录下显示

2．进入hadoop-1.2.1，新增一项tmp目录，用于存放Hadoop在运行过程中产生的一些临时文件：
[root@localhost hadoop-1.2.1]# mkdir tmp

3.找到hadoop-1.2.1目录下的conf目录，ls查看

vim masters
把里面内容改为master

vim slaves 进入后改为
slave1
slave2

接下来分别配置这几项文件

vim core-site.xml

hadoop.tmp.dir /usr/local/src/hadoop-1.2.1/tmp fs.default.name hdfs://192.168.237.10:9000 配置存放临时目录的地址与路径 vim mapred-site.xml mapred.job.tracker hdfs://192.168.237.10:9001

vim hdfs-site.xml

dfs.replication
3

vim hadoop-env.sh
最后加
export JAVA_HOME=/usr/local/src/jdk1.6.0_45

指定当前机器的hostname与ip地址关联
vim /etc/hosts 在后面加上：（设置后如果访问分节点直接输slave1或slave2就行，不需要输入IP地址）
192.168.237.10 master
192.168.237.11 slave1
192.168.237.12 slave2

[root@localhost conf]# hostname master （执行使master生效，临时的）

vim /etc/sysconfig/network （永久生效）
HOSTNAME=master

到这里就完成了第一台机器Hadoop的安装配置。接下来是把解压好的Hadoop复制到1,2号机上。

scp -rp hadoop-1.2.1 192.168.237.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.237.12:/usr/local/src/

查看里面配置过的文件有没出错，cat 命令查看。
但是每台机器内的hostname与IP要统一关联：
vim /etc/hosts
192.168.237.10 master
192.168.237.11 slave1
192.168.237.12 slave2

vim /etc/sysconfig/network
1机： HOSTNAME=slave1
2机： HOSTNAME=slave1

关闭系统防火墙
[root@localhost src]# PATH=$PATH:$HOME/bin:/sbin:/usr/bin:/usr/sbin
[root@localhost src]# setenforce 0
[root@localhost src]# /etc/init.d/iptables stop
[root@localhost src]# iptables –L
[root@localhost src]# getenforce

接着是建立机器之间的免密登录，主机+1号+2号
[root@localhost src]# ssh-keygen
[root@localhost src]# cd ~/.ssh/ （打开隐藏目录）
ls发现并没有authorized_keys，然后我们自己创建一个：
[root@localhost .ssh]# touch authorized_keys

[root@localhost .ssh]# cat id_rsa.pub > authorized_keys

编辑主机的authorized_keys，把三台机的公钥都存在里面
然后远程复制authorized_keys到1,2号机的隐藏目录内：
[root@localhost .ssh]# scp -rp authorized_keys slave1:~/.ssh/

[root@localhost .ssh]# scp -rp authorized_keys slave2:~/.ssh/

复制完毕后在主机登录slave1，slave2

能直接登录不需要密码。分机登录主机也同样不需要密码。

接着回到主机，打开Hadoop目录bin文件，启动Hadoop之前需要先格式化：
[root@localhost bin]# ./hadoop namenode –format

启动机器：
[root@localhost bin]# ./start-all.sh

[root@localhost bin]# jps 查看进程
主机已启动成功。



接下来是查看Hadoop是否能正常运行，上传文件。
./hadoop fs -ls / 【列出在指定目录下的文件内容】
./hadoop fs -put /etc/passwd / 【从本地系统拷贝文件到DFS】【DFS又名深度优先检索】
./hadoop fs -cat /passwd 【展示文件内容】