【hadoop】积累2

配置hadoop，使用符号连接的方式，让三种配置形态共存。

1.创建三个配置目录,内容等同于hadoop目录
	${hadoop_home}/etc/local
	${hadoop_home}/etc/pesudo
	${hadoop_home}/etc/full
	
2.创建符号连接
	$>ln -s 

3.对hdfs进行格式化
	
	$>hadoop namenode -format

4.修改hadoop配置文件，手动指定JAVA_HOME环境变量
	[${hadoop_home}/etc/hadoop/hadoop-env.sh]
	...
	export JAVA_HOME=/soft/jdk
	...

5.启动hadoop的所有进程
	$>start-all.sh

6.启动完成后，出现以下进程
	$>jps
		33702 NameNode
		33792 DataNode
		33954 SecondaryNameNode

		29041 ResourceManager
		34191 NodeManager

7.查看hdfs文件系统
	$>hdfs dfs -ls /

8.创建目录
	$>hdfs dfs -mkdir -p /user/centos/hadoop

9.通过webui查看hadoop的文件系统
	http://localhost:50070/

10.停止hadoop所有进程
	$>stop-all.sh

11.centos防火墙操作
	[cnetos 6.5之前的版本]
	$>sudo service firewalld stop		//停止服务
	$>sudo service firewalld start		//启动服务
	$>sudo service firewalld status		//查看状态

	[centos7]
	$>sudo systemctl enable firewalld.service	//"开机启动"

启用
		$>sudo systemctl disable firewalld.service	//"开机自启"

禁用
		$>sudo systemctl start firewalld.service	//启动防火墙
		$>sudo systemctl stop firewalld.service		//停止防火墙
		$>sudo systemctl status firewalld.service	//查看防火墙

状态
	[开机自启]
	$>sudo chkconfig firewalld	on				

//"开启自启"启用
		$>sudo chkconfig firewalld	off				

//"开启自启"禁用

hadoop的端口

50070		//namenode http port
50075		//datanode http port
50090		//2namenode	http port

8020		//namenode rpc port
50010		//datanode rpc port

hadoop四大模块

common
hdfs		//namenode + datanode + secondarynamenode

mapred
yarn		//resourcemanager + nodemanager

启动脚本

1.start-all.sh		//启动所有进程 （不推荐使用）
2.stop-all.sh		//停止所有进程

3.start-dfs.sh		//
4.start-yarn.sh

[hdfs]  start-dfs.sh stop-dfs.sh
	NN
	DN
	2NN

[yarn] start-yarn.sh stop-yarn.sh
	RM
	NM