linux下安装hadoop

安装hadoop需要先安装java，参考http://blog.csdn.net/lv_zj/article/details/38447173

1.下载hadoop安装压缩包： http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz

2.解压到/usr/hadoop目录下

3.设置环境变量  ，/etc/profile中增加下面内容，并执行 source /etc/profile使其生效

export HADOOP_HOME=/usr/hadoop/hadoop-2.4.1
export PATH=$PATH$:$HADOOP_HOME/bin

4.修改主机名，主机名在集群中唯一

# vi /etc/sysconfig/network 
NETWORKING=yes 
HOSTNAME=hadoop0//在这修改hostname 

5.设置主机名与ip映射关系，ping  hadoop0可以通

＃ vi /etc/hosts 
127.0.0.1 localhost.localdomain localhost 
172.17.33.169 hadoop0 //在这修改hostname和你的IP对应关系，然后执行  service network retstart重启网络

6.修改hadoop配置文件

（1）修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_07

（2）在${HADOOP_HOME}/etc/hadoop/ 下，将mapred-site.xml.templat 重命名成mapred-site.xml，并添加

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

（3）在${HADOOP_HOME}/etc/hadoop/ 中，修改core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>

(4) 在${HADOOP_HOME}/etc/hadoop/ 中，修改yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce-shuffle</value>
</property>

（5）修改${HADCOP_HOME}/etc/hadoop 中的hdfs-site.xml 文件，默认情况下，HDFS 数据块副本数是3，而在集群规模小于3 的集群中该参数
会导致出现错误，这可通过将dfs.replication 调整为1 解决（伪分布式）

<property>
<name>dfs.replication</name>
<value>1</value>

</property>

7.现在确认能否不输入口令就用ssh登录localhost:

$ ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

8.#sbin/start-all.sh命令启动所有hadoop进程，jps查看java进程：

18471 Jps
17720 NameNode
7203 
17989 SecondaryNameNode
17839 DataNode
18243 NodeManager
18139 ResourceManager

9.执行 hadoop  fs -ls / 查看hadoop文件系统中内容，报错：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

解决方案参考：http://www.linuxidc.com/Linux/2012-04/59200.htm

如果以上方案make编译不过，执行echo "CFLAGS += -march=i486 -mtune=native" > configparms