Hadoop环境搭建笔记

文章目录
一、安装虚拟机（CentOS）
二、修改主机名（当前虚拟机的主机名）
1. 查看当前的主机名
2. 修改主机名
（1）一定要在vi的命令模式下（在编辑模式下按esc键）
（2）编辑模式下：i当前光标所在的位置。
三、修改ip地址（当前虚拟机的ip地址）
1. 修改为静态获取ip
2. 添加IP地址
3. 添加网关
4. 添加子网掩码
5. 添加域名解析器
四、修改ip地址与主机名的映射
一、修改虚拟机的网络配置
二、修改windows的网络配置
三、虚拟机的防火墙的开关（ping通的不用关闭，ping不通才需要关闭）
1.防火墙状态的查看
2. 关闭防火墙
3. 开机防火墙不启动
五、查看虚拟机当前的ip地址
六、 打开mob出现以下页面
（1）你之前ping192.168.1.100成功没有，没有这就打不开
（2）如果你是ping192.168.1.128成功，那个这个new session就要连接192.168.1.128
（3）如果虚拟机没有启动也是出现下面情况，请直接输入R就可刷新
我们需要在/opt下面创建两个文件夹
（1）software：放软件的压缩包
创建software文件夹的命令：mkdir software
（2）module：放软件解压后的文件夹
（1）切换到software文件夹下
（2）解压jdk到module文件夹中
（四）配置jdk环境变量（慎重~~）
1.输入vi /etc/profile
2.Shift+g到最后一行
3.之后esc ：wq
4.输入：source /etc/profile
5.输入：java -version出现
（五）配置hadoop环境变量
(1) 输入vi /etc/profile
(2) Shift+g到最后一行
（3）然后esc ：wq
（4）输入：source /etc/profile
（5）输入：hadoop version
一、Hadoop的本地部署使用
**1.** 切换到hadoop下面的etc（配置文件都在etc下面)
**2.** 在hadoop中配置core-site.xml
**3.** 在hadoop中配置hdfs-site.xml
**4.** 格式化NameNode（第一次启动时格式化，以后就不要总格式化）
**5.** 启动namenode
**6.** 启动datanode
**7.** 配置yarn-site.xml
**8.** 配置mapred-site.xml
Hadoop 完全1、Namenode：储存文件的元数据。
2、Datanode：在本地文件系统储存文件快数据，以及块数据的效验和。
3、Secondary Namenode ：每个隔一段时间对Namenode元数据备份。
启动：
YARN架构
（1）ResourceManager(RM)主要作用
（2）处理客户端的请求
（3）启动或监控ApplicationMaster
（4）资源的分配调度
1、集群配置
核心配置文件
1.配置core-site.xml namenode
2.HDFS配置文件 datanode
3.YARN配置文件
2、集群分发
scp -r（递归）（全拷贝）
rsync -av （差异化拷贝）
3、分布式集群格式化
分布式集群第一次启动之前要格式化
格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉
在指定namenode运行的服务器上执行格式化：
ssh免密登录
1、在每个节点生成公钥和私钥，并拷贝
Hadoop1000：
生成公钥和私钥
Hadoop1001：
Hadoop1002：
用脚本启动集群
1、修改hadoop配置文件
在**hadoop1000**上的start-dfs.sh 和stop-dfs.sh 文件最上边添加几行数据
在 start-yarn.sh 和 stop-yarn.sh文件最上方添加几行数据
在**hadoop1000**上修改workers：
把上面的修改同步到hadoop1001、hadoop1002上：
启动停止集群
停止集1、Namenode：储存文件的元数据。
2、Datanode：在本地文件系统储存文件快数据，以及块数据的效验和。
3、Secondary Namenode ：每个隔一段时间对Namenode元数据备份。
启动：
YARN架构
（1）ResourceManager(RM)主要作用
（2）处理客户端的请求
（3）启动或监控ApplicationMaster
（4）资源的分配调度
1、集群配置
核心配置文件
1.配置core-site.xml namenode
2.HDFS配置文件 datanode
3.YARN配置文件
2、集群分发
scp -r（递归）（全拷贝）
rsync -av （差异化拷贝）
3、分布式集群格式化
分布式集群第一次启动之前要格式化
格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉
在指定namenode运行的服务器上执行格式化：
ssh免密登录
1、在每个节点生成公钥和私钥，并拷贝
Hadoop1000：
生成公钥和私钥
Hadoop1001：
Hadoop1002：
用脚本启动集群
1、修改hadoop配置文件
在**hadoop1000**上的start-dfs.sh 和stop-dfs.sh 文件最上边添加几行数据
在 start-yarn.sh 和 stop-yarn.sh文件最上方添加几行数据
在**hadoop1000**上修改workers：
把上面的修改同步到hadoop1001、hadoop1002上：
启动停止集群
停止集群：1. ifconfig -a
2. ip addr
从windows去ping一下虚拟机的ip地址
能ping通，说明配置成功。
关机命令：shutdown -h now