（1）Hadoop 1.2.1伪分布搭建

1.引言

      在本篇博客中主要介绍一下：如何在Linux操作系统中搭建Hadoop的伪分布，在本篇博客中使用的环境为：

• 操作系统为：Centos6.7
• Java环境：JDK1.7
• Hadoop版本为：1.2.1
• 使用SecureCRT&&SecureFX连接Linux服务器
• 使用wpx用户（普通用户）安装Hadoop的伪分布
• Hadoop的安装路径为：/home/wpx/hadoop

2.安装Java环境

• 如何安装Java JDK环境请参考博客：Linux安装Java环境

3.SSH 免密码登录

      因为是伪分布环境，所以ssh的免密码登录是登录本机（即：ssh localhost）

• 生成ssh私钥和公钥文件

//输入命令，然后一直点确定
ssh-keygen -t rsa

• 将公钥添加到认证用户

//输入localhost意味着本身，这个命令注意两个地方
// 1. 确定连接本身
// 2. 输入本机的密码
ssh-copy-id localhost

• 测试ssh免密码是否成功

//如果不需要输入密码，就说明成功了
ssh localhost

4 . 安装配置Hadoop1.2.1 伪分布

4.1 将hadoop配置到环境变量

• 首先将Hadoop安装包解压并改名字（名字也可以不修改，为了方便）

//解压
tar -xzvf hadoop-1.2.1.tar.gz
//修改名字
mv hadoop-1.2.1 hadoop

• 将Haddop配置到当前用户的.bashrc文件中

//hadoop的目录
export HADOOP_HOME=/home/wpx/hadoop
//去除Hadoop执行命令时的警告（也可以不写）
export HADOOP_HOME_WARN_SUPPRESS=1 
//将hadoop添加到环境变量
export PATH=$HADOOP_HOME/bin:$PATH

• 使配置文件生效

source /home/wpx/.bashrc

• 验证Hadoop添加到环境变量成功

hadoop version

4.2 修改Hadoop配置文件

• 修改conf/hadoop-env.sh配置文件

//制定jdk的路径，注意去掉前面的#号，#号代表注释
export JAVA_HOME=/usr/local/jdk

• 第二个文件conf/core-site.xml

<!--
    hadoop.tmp.dir 代表hadoop的数据存放目录 
    value值一般为 hadoop目录下面的 tmp文件夹（注意tmp文件夹不要自己创建），我的为:/home/wpx/hadoop/tmp
-->
<!--
    fs.default.name 代表hadoop的hdfs的访问路径
    value值一般为localhost:9000

 -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/wpx/hadoop/tmp</value>
<description>hadoop data directories</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS location</description>
</property>
</configuration>

• 第三个文件是conf/hdfs-site.xml

<!--
    dfs.replication:代表存放的副文本数
    value:默认为3
-->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>replication</description>
</property>
</configuration>

• 第四个文件是conf/mapred-site.xml

<!--
    mapred.job.tracker是JobTracker的地址
    value默认值：localhost:9001
-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<description>JobTracker</description>
</property>
</configuration>

4.3 格式化NameNode

• 输入命令格式化NameNode

hadoop namenode -format

• 出现如图所示便格式化成功

4.4 启动Hadoop（查看Hadoop伪分布是否成功）

• 使用命令启动Hadoop

//启动hadoop
start-all.sh

• 输入命令jps查看进程，如果出现以下进程便安装成功

5.Hadoop1.2.1安装包

Hadoop1.2.1 的下载地址为：Hadoop1.2.1下载连接