Hadoop伪分布式安装与配置

环境：
CentOS 6.5, JDK 1.6, hadoop 1.1.2


一、设置静态IP
查看博客 http://blog.csdn.net/calvin_kui/article/details/44783355


二、设置HOSTNAME
1. 在/etc/sysconfig/network文件中修改HOSTNAME
2. 在/etc/hosts中绑定HOSTNAME与IP
查看博客 http://blog.csdn.net/calvin_kui/article/details/44783355


三、关闭防火墙
1. service iptables stop #关闭防火墙
2. chkconfig iptables off #从启动项里面关闭防火墙
#chkconfig --list 查看系统启动项


四、设置SSH(secure shell)免密码登录
1. 执行命令 ssh-keygen -t rsa #在~/.ssh目录下生成密钥文件，分别为id_rsa, id_rsa.pub
2. 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys


五、JDK安装配置
1. 从windows上传jdk-6u24-linux-i586.bin文件到CentOS的/usr/local目录下
2. 执行命令 chmod u+x jdk-6u24-linux-i586.bin #授予该文件执行权限
3. 执行命令 ./jdk-6u24-linux-i586.bin #解压缩.bin文件
4. 执行命令 mv jdk-6u24-linux-i586 jdk  #重命名
5. 设置JDK环境变量
      vi /etc/profile
 增加以下两句：
 export JAVA_HOME=/usr/local/jdk
 export PATH=.:$JAVA_HOME/bin:$PATH
 执行命令 source /etc/profile


六、hadoop安装
1. 从windows上传hadoop-1.1.2.tar.gz文件到CentOS的/usr/local目录下
2. 执行命令 tar -zxvf hadoop-1.1.2.tar.gz #解压缩
3. 执行命令 mv hadoop-1.1.2 hadoop  #重命名
4. 设置Hadoop环境变量
      vi /etc/profile
 增加以下两句：
 export HADOOP_HOME=/usr/local/hadoop
 export PATH=.:$HADOOP_HOME/bin:$PATH
 执行命令 source /etc/profile  


七、hadoop配置
1. 修改hadoop/conf/hadoop-env.sh文件
增加以下内容：
export JAVA_HOME=/usr/local/jdk


2. 修改hadoop/conf/core-site.xml文件
增加以下内容：
<configuration>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://your_hostname:9000</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>


3. 修改hadoop/conf/hdfs-site.xml文件
增加以下内容：
<configuration>
  <property>
     <name>dfs.replication</name>
     <value>1</value>
  </property>
  <property>
     <name>dfs.permissions</name>
     <value>false</value>
  </property>
</configuration>


4. 修改hadoop/conf/mapred-site.xml文件
增加以下内容：
<configuration>
  <property>
     <name>mapred.job.tracker</name>
     <value>your_hostname:9001</value>
  </property>
</configuration>


八、hadoop格式化
执行命令 hadoop namenode -format


九、hadoop启动与停止
启动hadoop:
执行命令 start-all.sh


停止hadoop:
执行命令 stop-all.sh


十、hadoop运行进程查看
可通过以下两种方式查看：
1. 执行命令 jps #查看java进程， hadoop有5个进程启动，分别是NameNode, SecondaryNameNode, DataNode, JobTracker, TaskTracker
2. 通过浏览器查看 
      http://your_hostname:50070  #NameNode监控页面
      http://your_hostname:50030  #JobTracker监控页面


十一、其它
1. 如果hadoop执行了多次格式化怎么办？
方法：先删除/usr/local/hadoop/tmp目录， 然后重新格式化


2. 如何除掉hadoop启动时的"$HADOOP_HOME is deprecated"的警告信息？

方法：在/etc/profile中增加export HADOOP_HOME_WARN_SUPPRESS=x  #x只要非空即可

3. 可从此链接下载hadoop1.1.2.tar.gz http://download.csdn.net/detail/calvin_kui/8626241