hadoop伪分布式基本配置

=============================================================================================================


一、基本环境
1.虚拟机(CentOS6.5 64位)
2.JDK（jdk1.7 64位）
3.Hadoop环境（hadoop-2.6.5）
=============================================================================================================


二、hadoop伪分布式集群环境搭建
1.上传解压hadoop,个人安装路径/usr/local/hadoop/hadoop-2.6.5
2.修改配置文件(所在目录：/usr/local/hadoop/hadoop-2.6.5/etc/hadoop)，
共四个hadoop-env.sh、core-site.xml、hdfs-site.xml 、mapred-site.xml
1.hadoop-env.sh
修改为export JAVA_HOME=/usr/local/jdk/jdk1.7.0_79

2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>------设置系统host vi /etc/profile  添加修改为：192.168.1.157   hadoop0
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>  
</configuration>
这个文件配置的fs.default.name是这些机子的namenode节点，也就是主控节点，value的值需要根据自己虚拟机
的名字进行配置。创建集群的时候这个文件一般都是一致的。

3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
这个配置文件配置了集群的备份数目，这里的是1(默认是3个副本)，可以根据自己的情况进行配置，下面的配
置dfs.permissions是配置的文件操作时的权限检查标识。

4.mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
 
该文件配置的jobtracker，这个文件在集群搭建的过程中也应该是一样的。
我们往往是搭建起来的单机都是全部是这样进行配置，但是搭建集群的话，这样单独的配置是不行的，必须让多台机子公
用几个相同的配置文件找到对于他们来说相同的控制节点才行，比如namenode和jobtracker ,集群中必须保证namenode和
jobtracker的配置文件是一致的正常工作。

3.配置hadoop的环境变量
1.命令 vi /etc/profile
在最后面的jdk和hadoop环境变量配置如下：
HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.5
JAVA_HOME=/usr/local/jdk/jdk1.7.0_79
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin
export JAVA_HOME CLASSPATH PATH HADOOP_HOME
2. source /etc/profile
4.格式化hadoop的主节点
hadoop namenode -format


5.查看运行进程
jps

显示（5个除Jps）：
10546 SecondaryNameNode------主节点的备份
10258 NameNode------主节点（1个）
10969 NodeManager------节点管理
12581 Jps
10381 DataNode------数据管理（多个）
10685 ResourceManager------任务分配调度
=============================================================================================================

三、hadoop为分布式集群测试（hdfs:分布式文件系统）
1.创建hdfs文件夹
hdfs dfs -mkdir /test1

2.上传一个测试文件到hdfs
cd /usr/local/hadoop/hadoop-2.6.5/sbin
hadoop fs -copyFromLocal  yarn-daemon.sh /test1

3.运行hadoop自带的事例进行单词个数统计
cd /usr/local/hadoop/hadoop-2.6.5/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /test1 /output

4.查看统计结果
hdfs dfs -cat /output/part-r-00000


注意：上面是测试命令，下面是额外的有用命令：

5.hdfs的浏览器管理界面
192.168.1.157:50070

6.查看hadoop的shell脚本
hadoop fs

7.存一个文件到hdfs系统中
hadoop fs -put zookeeper-3.4.6.tar.gz hdfs://MyCentOS:9000/


8.查看hdfs系统文件
hadoop fs -ls hdfs://MyCentOS:9000/
或 hadoop fs -ls /


9.从DFS系统中取文件
hadoop fs -get /zookeeper-3.4.6.tar.gz


10.删除DFS系统中的文件
hadoop fs -rmr /output


11.重命名DFS系统中的文件
hadoop fs -mv /user/root/input/file_001.data /user/root/input/file_001
=============================================================================================================

四、相关网页链接
1.hadoop伪分布式集群环境搭建
http://blog.csdn.net/wangyang1354/article/details/45148875

2.hadoop伪分布式集群环境测试------WordCount运行详解
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html

3.Windows下使用Hadoop2.6.0-eclipse-plugin插件
https://my.oschina.net/muou/blog/408543

4.hadoop eclipse plugin 编译安装，问题总结（命令行在ivy-resolve-common处卡了）
http://www.tuicool.com/articles/qY7F3q

5.hadoop异常：Map/Reduce location status updater”.（注意关闭防火墙）
http://blog.itpub.net/22569416/viewspace-2124607/

6.eclipse 中运行 Hadoop2.7.3 map reduce程序 出现错误(null) entry in command string: null chmod 0700（注意关闭防火墙）
https://ask.hellobi.com/blog/jack/5063

7.Linux下实现ssh免密码登录(超详细)
http://www.jb51.net/article/94599.htm

=============================================================================================================


五、eclipse上开发hadoop
1.基本环境
eclipse mars2 64位
apache-ant-1.9.6
hadoop2x-eclipse-plugin-2.6.0.zip
2.环境搭建见：https://my.oschina.net/muou/blog/408543 网页（个人感觉这儿很全面了）
=============================================================================================================