Cloudera 局域网安装部署

集群部署在局域网内部，与外网隔离开来。

[size=large]第一步，下载安装包和相关文件。[/size]
其实 cloudera 就有一个 yum源，查看一下http://archive.cloudera.com/redhat/cdh/3/ ，yum源的结构就很清晰了。

wget -mc http://archive.cloudera.com/redhat/cdh/3/ 

在当前文件夹下就有一个archive.cloudera.com的文件夹。

[size=large]第二步，配置本地源。[/size]

mkdir /var/www/html/cloudera-hadoop 
   cp -r archive.cloudera.com/redhat/cdh/3 /var/www/html/cloudera-hadoop

这里是将对应的安装包和文件考到 web 目录下。
注意这里需要使用的 httpd 服务，没开启服务的话，使用service httpd start开启，没有apache软件的话，使用 sudo yum install apache安装。

[b]这里补充一点，其实不需要使用wget -mc全部下载，
只需要将repodata目录的全部，和需要使用的rpm包。按照原来的路径放置[/b]

[size=large]第三步，集群yum配置[/size]
在集群的机器/etc/yum.repos.d/目录下，新建文件cloudera-cdh3.repo

[cloudera-cdh3]
name=Cloudera's Distribution for Hadoop, Version 3
baseurl=http://10.10.224.109/cloudera/3/ 
gpgcheck=0
enabled=1

[size=large]第四步，准备[/size]
安装jdk，需要使用1.6以上版本，而且[b]必须是rpm包[/b]
这里使用的是jdk-6u24-linux-amd64.rpm

如果不是jdk1.6以上版本，或者rpm包，就会报错

error: Failed dependencies:
    jdk >= 1.6 is needed by hadoop-0.20-0.20.2+320-1.noarch.rpm

[size=large]第五步，安装cloudera[/size]
1.安装hadoop主文件
yum install hadoop-0.20
2.安装hadoop相关配置
yum install hadoop-0.20-<daemon type>
类型列表：
[table]
|namenode|
|datanode|
|secondarynamenode|
|jobtracker|
|tasktracker|
[/table]
# yum install hadoop-0.20-sbin
# yum install hadoop-0.20-native

[size=large]第六步，指定配置文件[/size]
[b]1.显示出当前使用的配置文件[/b]

# alternatives --display hadoop-0.20-conf

hadoop-0.20-conf - 状态是自动。
链接目前指向 /etc/hadoop-0.20/conf.empty
/etc/hadoop-0.20/conf.empty - 优先度 10
当前“最佳”版本是 /etc/hadoop-0.20/conf.empty。
[b]
2.创建自己的配置文件[/b]

# cp -r /etc/hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.my_cluster

[b]3.设置使用自己的配置文件（优先度50）[/b]

# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50

[b]
4.根据自己的习惯，调整优化配置文件[/b]

[b]5.拷贝配置文件，到机器的所有机器[/b]
/etc/hadoop-0.20/conf.my_cluster

scp -rp master:/etc/hadoop-0.20/conf.my_cluster  /etc/hadoop-0.20/conf.my_cluster

[b]6.在所有机器，添加alternative rules[/b]

# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50

[size=large]第七步，启动hadoop[/size]
[b]1.格式化Namenode[/b]

$ sudo -u hdfs hadoop namenode -format

[b]2.开机自动启动[/b]

$ sudo chkconfig hadoop-0.20-namenode on
$ sudo chkconfig hadoop-0.20-jobtracker on
$ sudo chkconfig hadoop-0.20-secondarynamenode on
$ sudo chkconfig hadoop-0.20-tasktracker on
$ sudo chkconfig hadoop-0.20-datanode on

[b]3.手工启动[/b]

$ sudo service hadoop-0.20-namenode start
$ sudo service hadoop-0.20-jobtracker start
$ sudo service hadoop-0.20-secondarynamenode start
$ sudo service hadoop-0.20-tasktracker start
$ sudo service hadoop-0.20-datanode start

[size=large]
第七步，优化配置文件[/size]
[b]1.创建dfs.name.dir目录[/b]

$ sudo mkdir -p /data/dfs/nn/1 /data/dfs/nn/2

[b]2.创建dfs.data.dir目录[/b]

$ sudo mkdir -p /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4

[b]3.创建mapred.local.dir目录[/b]

$ sudo mkdir -p /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4

[b]4.修改dfs.name.dir 和 dfs.data.dir目录的user为hdfs[/b]

$ sudo chown -R hdfs:hadoop /data/dfs/nn/1 /data/dfs/nn/2 /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4

[b]5.修改mapred.local.dir目录的user为 mapred:[/b]

$ sudo chown -R mapred:hadoop /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4

[b]6.在HDFS上创建mapred.system.dir目录，user为mapred[/b]

$sudo -u hdfs hadoop fs -mkdir /mapred/system
$sudo -u hdfs hadoop fs -chown mapred /mapred/system

[b]
7．修改conf/hdfs-site.xml文件，添加dfs.name.dir 和dfs.data.dir[/b]

[b]8.修改conf/mapred-site.xml文件，添加mapred.local.dir 和mapred.system.dir[/b]

目录最终的权限和user
[table]
|Directory| Owner| Permissions (see Footnote 1)|
|dfs.name.dir| hdfs:hadoop| drwx------|
|dfs.data.dir| hdfs:hadoop| drwx------|
|mapred.local.dir| mapred:hadoop| drwxr-xr-x|
|mapred.system.dir| mapred:hadoop| (see Footnote 2)|
[/table]


测试
新建目录
sudo -u hdfs hadoop fs -mkdir input
sudo -u hdfs hadoop fs -put /etc/hadoop/conf/*.xml input
sudo -u hdfs hadoop fs -ls input

执行
sudo -u mapred hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar wordcount /user/mapred/input /user/mapred/output