hadoop 基本配置

hadoop day01:
一、安装jdk, 配置环境变量
	安装hadoop， 修改配置文件
	1、修改 hadoop 下的etc目录中的hadoop-env.sh, 添加java 的支持
		export $JAVA_HOME=/usr/java/jdk6
	2、修改 core-site.xml 中在configuration 节点下添加两个属性
		<configuration>
    	<property><!-- 用来指定HDFS的老大 namenode  -->
        	<name>fs.defaultFS</name>
        	<value>hdfs://Hadoop:9000</value>
    	</property>
    	<property><!-- hadoop 运行时产生文件的目录 -->
        	<name>hadoop.tmp.dir</name>
        	<value>/lrb-hadoop/hadoop-2.2.0/tmp</value>
    	</property>
		</configuration>
	3、	修改 hdfs-site.xml 文件指定的副本只有一份，例如：value是3就总共只有3份
		<configuration>
    		<property>
        	<name>dfs.replication</name>
        	<value>1</value>
    		</property>
		</configuration>	
	4、修改 mapred-site.xml.template 文件名成  mapred-site.xml
		<configuration>
    		<property><!-- 告诉hadoop mapreduce 运行在yarn上面-->
        	<name>mapreduce.framework.name</name>
        	<value>yarn</value>
    		</property>
		</configuration>
	5、yarn-site.xml	
		<property><!--Nodemapagr获取数据的方式 是shuffle -->
  			  <name>yarn.nodemanager.aux-services</name>
   			 <value>mapreduce_shuffle</value>
		</property>

		<property><!-- 指定yarn 的老大ResourceManager的地址 -->
 		   <name>yarn.resourcemanager.hostname</name>
		    <value>Hadoop</value>
		</property>

	修改环境变量，将hadoop 添加到环境变量中。刷新 source /etc/profile

二、 格式化文件系统
	hadoop namenode -format （过时了，但是依然可用）
	使用 hdfs namenode -format 格式化文件系统

三、启动hadoop
	hdfs 和 yarn 在sbin 下的./start-all.sh （已过时）用start-hdfs.sh 和	start-yarn.sh 代替
	# 但是这里要输入密码，配置ssh 免登陆
四、测试hdfs
	将本地文件上传到hdfs 上
	hadoop fs -put 文件 hdfs://主机名:9000
	
	从hdfs 中下载文件到本地
	hadoop fs -get hdfs://主机:9000/文件 /目录/文件名
	
五、测试MapReduce 和yarn 
入门级的 wordcount 
	找到例子程序 在share/hadoop/mapreduce/
	hadoop jar hadoop-mapreduce-examples-2.2.0.jar <in> <out>
	in和out 都是hdfs上的文件，大数据

六、配置ssh免登陆
	修改主机名：
	vim /etc/sysconfig/network
	修改ip
	vim /etc/sysconfig/network-scripts/ifg-eht0
	

	cd .ssh/ 进入
	ssh-keygen -t rsa 生成一对秘钥
	cp id_rsa.pub authorized_keys 对自己免登陆

	将秘钥发送到其他机器上
	ssh-copy-id <目标ip>