Hadoop单机伪分布式总结

觉得有帮助的，请多多支持博主，点赞关注哦~

Hadoop单机伪分布式

一、Hadoop文件目录说明

1）bin:存放对于hadoop文件系统进行操作的脚本（hdfs、hadoop等）
2）sbin:存放管理脚本的命令，比如hdfs和yarn的开启、关闭
    hadoop-daemon.sh,开启/停止一个守护进程（daemon）
    start-all.sh、stop-all.sh 启动hadoop所有进程【不推荐】
    start-dfs.sh:启动NameNode、SecondaryNamenode、DataNode进程
    stop-dfs.sh:停止NameNode、SecondaryNamenode、DataNode进程
    start-yarn.sh:启动ResourceManager、NodeManager进程
    stop-yarn.sh:关闭ResourceManager、NodeManager进程
3）etc:存放hadoop配置文件
    3.1)hadoop-env.sh:存放hadoop环境变量信息，比如JAVA_HOME
    3.2)core-site.xml:存放Hadoop全局的核心配置信息，比如FS的名称
    3.3)hdfs-site.xml:存放HDFS配置信息，比如数据块的副本数、元文件和数据文件的存储路径
    3.4)mapred-site.xml:存放mapreduce的配置信息
    3.5)yarn-site.xml:存放yarn的配置信息
    3.6)slaves:存放所有的slave主机名或ip
		如果设置主机名，则必须在/etc/hosts中进行映射
4）lib:存放Hadoop运行时依赖的jar包
5）libexec:存放各个服务对应的shell配置文件
6）include:存放对外的编程库头文件，该文件是用C++定义,通常用于C++程序访问HDFS、编写MR程序
7）share:存放Hadoop各个模块编译后的jar和源码

二、单机完整配置过程(centos7)

1.修改ip

# 修改静态ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33

主要需要修改的有以下几部分：

1. 如果有BOOTROTO，其值需要改为static，因为要设置为静态ip
2. ONBOOT，需要设置为yes，启用自动加载网卡
3. 添加：IPADDR前两段固定，第三段看自己的网段，最后一段自己设置128~255之间
4. 添加：NETMASK=255.255.255.0，子网掩码
5. 添加：GATEWAY=与IPADDR相似，最后一段为2
6. 添加：DNS，可以设置为全114，也可以设置为全8，也可以两个都设置

参考配置：

	TYPE="Ethernet"
	PROXY_METHOD="none"
	BROWSER_ONLY="no"
	DEFROUTE="yes"
	IPV4_FAILURE_FATAL="no"
	IPV6INIT="yes"
	IPV6_AUTOCONF="yes"
	IPV6_DEFROUTE="yes"
	IPV6_FAILURE_FATAL="no"
	IPV6_ADDR_GEN_MODE="stable-privacy"
	NAME="ens33"
	UUID="e48a9ab9-790d-466f-befa-91fcafde6fdb"
	DEVICE="ens33"
	ONBOOT="yes"

	IPADDR=192.168.153.131
	NETMASK=255.255.255.0
	GATEWAY=192.168.153.2
	DNS1=114.114.114.114

2.修改network

# 修改network，修改主机名
vi /etc/sysconfig/network

参考配置：

NETWORKING=yes
HOSTNAME=主机名

3.修改resolv.conf

# 修改resolv.conf，配置dns
vi /etc/resolv.conf

参考配置：

nameserver 114.114.114.114

4.修改hosts

# 修改hosts主机名
vi /etc/hosts

参考配置：

192.168.153.231 主机名

5.重启网卡

service network restart

6.关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

相关命令：

查看防火墙状态：firewall-cmd --state
关闭防火墙: systemctl stop firewalld.service
禁止防火墙开机启动：systemctl disable firewalld.service

6.创建目录

# -p递归创建，在存放临时文件的opt文件夹中分别创建software和model
mkdir -p /opt/software
mkdir -p /opt/model

7.创建用户组和用户

以后操作需要使用新建用户操作，不要直接使用root用户。

# 创建用户组 -g:指定组id
groupadd -g 1111 hadoopenv
# 创建用户 -m:自动创建家目录 -u:指定用户id -g:指定所属组
useradd -m -u 1111