hadoop2.4单机环境搭建

今天用了一下午在虚拟机里搭建好了hadoop，第一次没经验各种报错啊。。。。

我用的是ubuntu，首先是准备工作，下载好JDK，HADOOP2.4解压到/usr/local/里。安装JDK配置环境变量就不说什么了，配置SSH网上说的也很多没什么问题，只要使用ssh localhost能连接上即可。

准备工作都做完了进入重点，其实难度不大就是配置教程里有些没说的东西会导致报错什么的很麻烦。首先在/etc/hosts里加上IP与主机名的对应。还有注意处理下文件夹的权限问题。之后就是HADOOP的配置，首先要在hadoop-env.sh，yarn-env.sh里再添加一次JAVA的路径，环境变量没有用。之后就是三个xml的配置，从网上照抄来就行，我dfs.namenode.name.dir用的是绝对路径。之后使用./bin/hdfs namenode –format格式化namenode，然后使用start-all.sh来开始服务，开启后使用jps命令来看是否全部打开。如果打开了就可以使用了。
1.使用bin/hadoop fs -put 本地 远程 将文件复制入hdfs中，注意如果远程直接为文件夹名(如AA)，则实际地址为hdfs://localhost:9000/user/XX(你的用户名)/AA。 当然也可以使用/AA的绝对路径
2.使用bin/hadoop jar xxxx.jar 参数 input output  运行mapreduce程序
3.使用bin/hadoop fs -ls(和-cat) 远端路径   来查看输出结果

参考链接：

http://blog.csdn.net/yfkiss/article/details/7715476

http://blog.csdn.net/hadoop_/article/details/17716945

今天先写这么多，有时间补上xml。