centos单机安装Hadoop2.6

总体上可以参考以下博文，Reference：

http://blog.csdn.net/woshisunxiangfu/article/details/44026207

伪分布式则可以参考：

http://blog.csdn.net/xin_jmail/article/details/40556267

但有些小地方需要补上：
1）

配置core-site.xml、hdfs-site.xml时，<description>不能用中文

2）

hostname -f
vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 <host>
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
<ip> <host>
hostname -f

3）
服务器端开通8088（yarn）和50070（namenode）端口
/sbin/iptables -I INPUT -p tcp --dport 8088 -j ACCEPT
/etc/init.d/iptables save

service iptables restart

/sbin/iptables -I INPUT -p tcp --dport 50070 -j ACCEPT
/etc/init.d/iptables save
service iptables restart

4）
启动验证jps时，没看到Master，不过貌似也可以；

测试时用服务器端的IP，如 http://192.168.22.250:8099/ （原文是hostname，http://datanode-4:8099/）

效果>

重启服务器后，重启Hadoop流程：

cd /root/hadoop2.6

sbin/start-dfs.sh

sbin/start-yarn.sh

验证：http://192.168.22.250:8099/cluster

----------------------------------

伪分布式综合：

cd /appl/hadoop-2.7.0/etc/hadoop

yarn-env.sh

export JAVA_HOME=/appl/jdk1.7.0_80
...

hadoop-env.sh

export JAVA_HOME=/appl/jdk1.7.0_80
...

yarn-site.xml

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
</property>

mapred-site.xml

<property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
</property>

hdfs-site.xml

<property>
             <name>dfs.repliacation</name>
             <value>0</value>
</property>

core-site.xml

	<property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
         <property>
           <name>hadoop.tmp.dir</name>
           <value>/appl/hadoop-2.7.0/tmp</value> 
       </property>

vi /etc/profile

export JAVA_HOME=/appl/jdk1.7.0_80
export HADOOP_HOME=/appl/hadoop-2.7.0
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
...
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:...
export MASTER='local-cluster[1,1,1024]'

source /etc/profile

ssh设置
网络端口开通（如8088、50070）

sh start-dfs.sh
sh start-yarn.sh
jps

[root@centos1 ~]# jps
4575 SecondaryNameNode
4857 NodeManager
4373 DataNode
4755 ResourceManager
5187 Jps
4276 NameNode

Web验证-
Namenode - http://192.168.56.250:50070/ 
Yarn - http://192.168.56.250:8088/
Cluster - http://192.168.56.250:8088/cluster

----------------------------------

错误处理

Q:  WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

A: 开启调试：

  export HADOOP_ROOT_LOGGER=DEBUG,console

  hadoop fs -text /mk/test/hadoop.log

  见真正错误信息：Failed to load native-hadoop with error: ... /lib/libc.so.6: version `GLIBC_2.14' not found

  ll /lib/libc.so.6查看现在版本

  下载安装匹配版本（http://www.filewatcher.com/，注意32、64位，详见文章“CentOS安装glibc-2.14”）

Q: JPS 不见datanode，或hadoop fs -put 时文件不见在hdfs上但mkdir却可以的情况

A: http://blog.csdn.net/hackerwin7/article/details/19973045