个人hadoop学习总结：Hadoop集群+HBase集群+Zookeeper集群+chukwa监控（包括单机、伪分布、完全分布安装操作）

环境介绍：

虚拟机四个：

hadoop-marster

hadoop-salve1

hadoop-salve2

hadoop-salve3

===========================1.Hadoop==========================================================================

=================Linux下创建伪分布式==============================================
1.下载hadoop和jdk
http://mirror.esocc.com/apache/hadoop/common
本例使用：hadoop-1.0.4.tar.gz

2.安装
2.1安装jdk
第一种：tar包
1.下载jdk并解压：（我选的是tar包的文件）
    www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
2.解压：（tar -zxvf jdk-7u15-linux-x64.tar.gz -C /usr/local）
3.配置jdk环境变量
#vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_15
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
:wq
#source /etc/profile
4.执行#java -version
5.编写测试类
第二种：bin包
chmod +x jdk-6u27-linux-x64.bin
./jdk-6u27-linux-x64.bin
mv jdk1.6.0_27/ /usr/local/
配置jdk环境变量
#vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.6.0_27
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
:wq
#source /etc/profile
执行#java -version

3.解压配置hadoop
tar zxvf hadoop-**.tar.gz
mv hadoop-** /usr/local/
cd /usr/local/hadoop-**/conf
3.1.修改hadoop-env.sh
vi hadoop-env.sh
打开JAVA_HOME，并指定当前安装的jdk位置：
 export JAVA_HOME=/usr/local/jdk1.6.0_27

3.2.修改conf-site.xml
核心配置文件，设置hadoop的HDFS的地址及端口
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/dhfs/tmp</value>
</property>
</configuration>

3.3.修改hdfs-site.xml
设置文件存储目录和备份的个数
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mkidr /data/hadoop/data

3.4.配置mapred-site.xml
MapReduce配置文件，配置JobTracker的地址及端口
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>


3.配置ssh免密码登陆
cd /root
生成密钥对可以使用rsa和dsa两种方式，分别生成两个文件。推荐使用rsa
ssh-keygen -t rsa
然后持续回车，生成一对，包含公钥和私钥，然后追加或者覆盖
追加
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
覆盖
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
完成后进行测试
ssh hadoop-master
第一次会询问是否继续链接，输入yes
然后发现进入了另一个根目录中，跟刚刚的shell不在一个里面

4.格式化Hadoop的文件系统HDFS
/usr/local/hadoop-1.0.4/bin/hadoop namenode -format

5.启动hadoop
/usr/local/hadoop-1.0.4/bin/start-all.sh
如果有必要，可以分别启动hdfs和mapreduce
start-dfs.sh和start-mapred.sh

6.验证
浏览器打开
http://hadoop-master:50030 MapReduce的web页面
http://hadoop-master:50070 HDFS的web页面
如果在主机访问虚拟机，无法访问时，注意端口防火墙和host是否设置了与ip对应

============================================================================================
============================================================================================
=================Linux下创建完全分布式==============================================
==============================================