Hadoop 安装

本机IP ： 10.28.168.68

前提条件: 

安装java 与 ssh 环境 （安装过程这儿省略一万字...）

/etc/init.d/sshd status

倘若出现 openssh-daemon (pid  2607) is running...说明ssh已经启动了。

倘若未启动，则执行：

/etc/init.d/sshd start

配置ssh免登录

1. 执行命名：cd (目的是切换到用户根目录) 

2. 执行命令：ssh-keygen -t rsa（一路回车，选择默认的保存路径），密钥生成成功之后，进入.ssh目录。

3. 执行命令：cp id_rsa.pub authorized_keys。这个时候运行ssh localhost，让系统记住用户，之后ssh localhost就不需要再输入密码了。

hadoop安装

下载hadoop ： http://www.fayea.com/apache-mirror/hadoop/common/hadoop-1.0.4/hadoop-1.0.4.tar.gz

解压到/home/zhanglei/hadoop/目录下（解压目录路径随你）

1. 编辑 /home/zhanglei/hadoop/hadoop-1.0.4/conf/hadoop-env.sh文件，添加配置环境变量

  export JAVA_HOME=/usr/local/java (你的java根路径)

2. 编辑hadoop几个核心文件

    首先在/home/zhanglei/hadoop/目录下创建：datadir、namedir、tempdir三个目录，下面会用到。

 编辑/home/zhanglei/hadoop/hadoop-1.0.4/conf/core-site.xml （保证9000端口可用）

<configuration>  
<property>  
    <name>fs.default.name</name>  
    <value>hdfs://10.28.168.68:9000</value> （最好不要用localhost或127.0.0.1，用局域网IP）
 </property>  
 <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/zhanglei/hadoop/tempdir</value>
 </property>
</configuration> 

 编辑/home/zhanglei/hadoop/hadoop-1.0.4/conf/hdfs-site.xml

<configuration>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>  
  <property>  
    <name>dfs.name.dir</name>  
    <value>/home/zhanglei/hadoop/namedir</value>  
  </property>  
  <property>  
    <name>dfs.data.dir</name>  
    <value>/home/zhanglei/hadoop/datadir</value>  
  </property>  
</configuration>  

编辑/home/zhanglei/hadoop/hadoop-1.0.4/conf/mapred-site.xml（保证9001端口可用）

<configuration>  
  <property>  
    <name>mapred.job.tracker</name>  
    <value>10.28.168.68:9001</value>  （最好不要用localhost或127.0.0.1，用局域网IP）
  </property>  
</configuration>  

3. 格式化namenode以及运行如下

bin/hadoop namenode -format  
bin/start-all.sh  

4. 运行jps验证部署是否成功

[zhanglei@localhost]$ jps  
16449 Jps  
13388 NameNode  
13492 DataNode  
13599 SecondaryNameNode  
13686 JobTracker  
23248 ElasticSearch  
13800 TaskTracker  

假如部署成功，会出现 NameNode、DataNode、JobTracker、TaskTracker、SecondaryNameNode五个进程。

NameNode：   http://10.28.168.68:50070/

Map/Reduce： http://10.28.168.68:50030/

 安装过程遇到的问题总结：

 1. datadir、namedir、tempdir三个目录给的权限过高了，多了用户组的写权限能造成集群系统的无法启动。

 解决方案：

   chmod g-w/home/zhanglei/hadoop/namedir

   chmod g-w /home/zhanglei/hadoop/datadir

   chmod g-w /home/zhanglei/hadoop/tempdir

2. 不要用localhost或127.0.0.1，不然我们用hadoop-eclipse 插件去连接hadoop的时候会连不上。

解决方案：换成本机的局域网IP，我这里用的是：10.28.168.68