单机版hadoop部署

单机版hadoop部署

卸载自带的jdk，安装自己的jdk

1.tar -zxf /tmp/hadoop-2.6.5.tar.gz -C /usr/local    # 解压到/usr/local中

2.cd /usr/local/

3.mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop

4.chown -R hadoop ./hadoop       # 修改文件权限		授权给hadoop用户

5.Hadoop 解压后就能使用了。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：
	cd /usr/local/hadoop
	./bin/hadoop version

6.测试使用mapreduce
	在hadoop目录中
	切换到	cd  /usr/local/hadoop/share/hadoop/mapreduce
	统计找一个文本文件，统计信息
	./hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /usr/local/hadoop/input /usr/local/hadoop/output 'dfs[a-z.]+'
	
	---使用hadoop的例子hadoop-examples-2.6.5.jar里边的程序grep来执行查询dfs开头后面是包含从a到z的字符串的单词
	
	
	---------查看执行结果(两种方式都可以)

	cd /usr/local/hadoop

	cat ./output/*          # 查看运行结果
	
	
	
	
	统计结果
	./hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /usr/local/hadoop/input /usr/local/hadoop/output333
	
	cat output/*
	出现结果
	
	
	

单机模式
 （不需要做任何配置，但不启动任何dfs和mapreduce daemon进程）



-----------讲解hadoop的常用配置文件core-site.xml,hdfs-site.xml,mapred-site.xml






获取默认配置

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，


这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，
导致无法生效。浏览更多的配置，有两个方法:

1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,

这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。



2.浏览apache官网,三个配置文件链接如下:

   http://hadoop.apache.org/common/docs/current/core-default.html
   http://hadoop.apache.org/common/docs/current/hdfs-default.html
   http://hadoop.apache.org/common/docs/current/mapred-default.html
   
   
   这里是浏览hadoop当前版本号的默认配置文件，其他版本号，要另外去官网找。其中第一个方法找到默认的配置是最好的，
   
   因为每个属性都有说明，可以直接使用。另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。