【大数据各平台组件搭建使用精进】hadoop环境搭建及测试（3）

               

目录

首先是hadoop导入虚拟机解压安装

 接下来配置环境变量​编辑

 常用命令说明

 hadoop集群配置

配置总览​编辑

Env.sh文件

​编辑

core-site.xml文件

 hdfs-site.xml文件

修改mapred-site.xml

 修改yarn-site.xml文件

 修改workers文件

将集群主节点的配置文件分发到其他子节点hadoop02和hadoop03

 初步测试

格式化集群文件系统

 启动hadoop集群命令

启动hdfs

配置hadoop dfs的root权限

 启动yarn

Yarn的启动需要root权限

 测试yarn

没有nodemanager进程

 通过UI（图形界面）查看Hadoop的运行状态

集群测试

Hdfs shell命令的使用

2.案例：Hadoop集群的计算使用——单词计数

 3计算圆周率

---

        当然hadoop环境是建立在linux虚拟机上的，需要有很多环境搭建之前的准备，这些请移步我的主页.

（1）第一部分hadoop搭建前虚拟环境准备https://blog.csdn.net/hx1156477702/article/details/127037438?spm=1001.2014.3001.5501

（2）jdk的安装

https://blog.csdn.net/hx1156477702/article/details/127040822?spm=1001.2014.3001.5502

开始安装搭建之前需要hadoop的安装包，我用的是hadoop3.1.4，当然大家也可以用别的版本的，对应的组件也是不同版本的，大家可以去Apache官网下载，这里把我的hadoop包分享给大家。

https://pan.baidu.com/s/11KT_U7wcMjFLwSVoGHE_Rg?pwd=1234

提取码：1234

 然后步入正文

首先是hadoop导入虚拟机解压安装

 接下来配置环境变量

 使配置起作用

这项过程在配置环境变量之后必须要做

代码是 source /etc/profile

检查环境 hadoop version

 常用命令说明

接下来是对hadoop自带的命令以及文件的解释，属于基础知识内容

 hadoop集群配置

任何一个hadoop组件安装之后想要使用就需要配置文件，这相当于自定义你的这个工具，规范接口，调整参数。这里十分重要，稍有错误就会全线崩盘。作者在这里就出了一个没有nodemanager进程的错误，结果发现配置文件有一处打错了。

配置总览

Env.sh文件

千万别忘了保存

core-site.xml文件

 hdfs-site.xml文件

修改mapred-site.xml

 修改yarn-site.xml文件

 修改workers文件