在CentOS下配置Hadoop

操作系统：CentOS 7.2
软件包：Hadoop 2.7.2
一、修改hadoop配置文件
以下配置文件所在文件夹 /hadoop-2.7/etc/hadoop/

1、hadoop-env.sh 配置JAVA_HOME
export JAVA_HOME=/usr/java
2、core-site.xml配置hdfs，下面内容放在标签中

	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://127.0.0.1:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/big/hadoop/data/tmp</value>
	</property>

3、hdfs-site.xml 配置备份，下面内容放在标签中

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

4、mapred-site.xml 配置mapreduce使用yarn。这个文件默认没有，但是有一个带template的文件，改一下名字

	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

5、yarn-site.xml

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

二、首次启动hadoop

bin/hdfs namenode -format 		//格式化
sbin/start-dfs.sh 				//启动，输入三次yes
sbin/start-yarn.sh
jps 							//可以查看到有五个进程，证明hadoop安装成功

//-mkdir -p 代表创建多级文件夹。这个位置创建的文件夹不在硬盘上，属于hdfs
bin/hadoop fs -mkdir -p /usr/big/data/in
		
//上传文件。将/etc/profile文件上传，作为分析对象
bin/hadoop fs -put /etc/profile /usr/big/data/in    

//跑测试任务  
./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount

//查看运行结果文件。可以看到生成的文件
./hadoop fs - ls /usr/big/data/out

//查看结果文件内容
./hadoop fs -cat /usr/big/data/out/part-r-00000