Hadoop-伪分布式

Hadoop2伪分布式搭建

主机名	IP地址
hadoop	192.168.100.100

修改主机名

vi /etc/hostname

hadoop

配置hosts

vim /etc/hosts

192.168.100.100 hadoop

免密配置

1、安装客户端
	yum  -y  install  openssh-clients
	
2、生成密钥对（一直回车）
	ssh-keygen  -t  rsa  或者  ssh-keygen  -t  dsa

3、授权免密登陆
	ssh-copy-id  hadoop(主机名)

4、验证
	ssh  hadoop(主机名)

重启服务器

shutdown -r now

配置文件

配置文件所在位置：/opt/hadoop-2.7.3/etc/hadoop/

hadoop-env.sh

# hadoop运行依赖文件（依赖JDK）
 export JAVA_HOME=/usr/local/apps/jdk1.8.0_161

core-site.xml

<configuration>
	<!-- hadoop hdfs访问地址（默认端口：8020） -->
	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://hadoop</value>
	</property>
	
	<!-- 保存hadoop初始化文件（默认位置：/tmp/） -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop-2.7.3/mydir/init</value>
	</property>
</configuration>

hdfs-site.xml

<configuration>
		<!-- 备份副本数 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
		
		<!-- 声明nameNode保存位置 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/opt/hadoop-2.7.3/mydir/namenode</value>
        </property>
		
		<!-- 声明dataNode保存位置 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/opt/hadoop-2.7.3/mydir/datanode</value>
        </property>
		
		<!-- 关闭权限验证 -->
		<property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
	<!-- 声明MR资源调度由YARN管理 -->
	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
	</property>
</configuration>

yarn-site.xml

<configuration>
	<!-- 声明YARN主节点 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop</value>
	</property>

	<!-- YARN资源调度策略mapreduce_shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

slaves

hadoop

格式化hadoop

hadoop namenode -format

启动和停止（hadoop-2.7.3/sbin）

启动
	启动所有：start-all.sh 
	启动HDFS：start-dfs.sh
	启动YARN：start-yarn.sh

停止
	停止所有：stop-all.sh
	停止HDFS：stop-dfs.sh
	停止YARN：stop-yarn.sh

查看服务

执行命令：jps

HDFS
	主：NameNode 
	从：SecondaryNameNode 
	从：DataNode
	
YARN
	主：ResourceManager
	从：NodeManager

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

Web访问

HDFS
	http://192.168.100.100:50070

YARN
	http://192.168.100.100:8088