Hadoop集群的安装及操作

目录

1.克隆虚拟机

2.修改IP地址，主机名称

3.查看Windows系统适配器VMware Network Adapter VM net8的IP地址

4.查看Linux虚拟机得虚拟网络编辑器

5.配置Linux克隆主机名称映射hosts文件

6.ping.wwww.baidu.com 连接测试

7.安装epel-release

8.关闭防火墙

9.给普通用户权限

10.删除原来得jdk ,创建module以及software，并重新上传jdk1.8,hadoop-3.1.3，并安装。

11.配置jdk环境变量以及Hadoop环境变量，并检测是否安装成功

12.查看Hadoop目录结构

13.在hadoop-3.1.3下面创建一个word.txt文件

14.scp安全拷贝

15.xsync远程同步

16.xsync集群分发脚本

17.配置ssh

18.配置集群

19.集群基本测试

20.配置历史服务器

21.配置日志聚集

22.集群启动停止，编写 Hadoop 集群常用脚本

23.集群时间同步

---

1.克隆虚拟机

2.修改IP地址，主机名称

3.查看Windows系统适配器VMware Network Adapter VM net8的IP地址

4.查看Linux虚拟机得虚拟网络编辑器

5.配置Linux克隆主机名称映射hosts文件

6.ping.wwww.baidu.com 连接测试

7.安装epel-release

8.关闭防火墙

9.给普通用户权限

10.删除原来得jdk ,创建module以及software，并重新上传jdk1.8,hadoop-3.1.3，并安装。

11.配置jdk环境变量以及Hadoop环境变量，并检测是否安装成功

12.查看Hadoop目录结构

13.在hadoop-3.1.3下面创建一个word.txt文件

14.scp安全拷贝

15.xsync远程同步

16.xsync集群分发脚本

17.配置ssh

18.配置集群

19.集群基本测试

20.配置历史服务器

21.配置日志聚集

22.集群启动停止，编写 Hadoop 集群常用脚本

23.集群时间同步

搭建模板虚拟机hadoop100的关键步骤。

1. 创建虚拟空白光盘，要选稍后安装操作系统。
2. 虚拟机内存要设置要根据自己的电脑内存设置，不要设置的太大。
3. 磁盘容量要在40G以上
4. 软件安装初学者选GNOME桌面比较好
5. 创建用户以及密码的时候密码尽量简单，

注意：修改IP地址，主机映射地址注意不要错写漏写。

利用hadoop100克隆3台虚拟机hadoop102、hadoop103、hadoop104的关键步骤。

1. 克隆时，要先关闭模板克隆机
2. 克隆类型一定要选创建完整克隆
3. 克隆完成之后，一定要修改主机名，以及IP地址

在hadoop102上安装JDK的关键步骤。

1. 安装JDK之前，一定要确保提前删除虚拟机自带JDK。
2. 配置环境变量一定要注意瓶邪不要错误。
3. 最后一定要检测是否安装成功。

在hadoop102上安装hadoop的关键步骤。

1. 安装之前一定要先创建好文件夹，为后期Hadoop解压指定文件夹。
2. 配置环境变量也是一样，不要错写漏写。
3. 修改之后也是一样source一下让文件立即生效。
4. 最后检测是否安装成功。

利用hadoop102、hadoop103、hadoop104搭建hadoop集群，完成相应配置。

1. 准备3台客户机。
2. 安装JDK，Hadoop。
3. 配置免密登录ssh。
4. 配置环境变量。
5. 配置集群。
6. 单点启动。
7. 群起并测试集群。

常用的hadoop命令。

1. 启动hadoop所有进程 start-all.sh;
2. 单进程启动sbin/start-dfs.sh ;sbin/start-yarn.sh;
3. 查看指定目录下内容 hdfs dfs -ls;hdfs dfs -ls -R;
4. 打开某个已存在文件 hdfs dfs -cat[file.path];
5. 将本地文件存储到hadoop hdfs dfs -put[本地地址][hadoop目录];
6. 将本地文件夹存储到hadoop hdfs dfs -put[本地目录][hadoop目录];
7. 将hadoop 上某个文件down 至本地已有目录下 hadoop dfs -rm[文件地址];
8. 删除hadoop上指定文件夹 hdfs dfs -rm[目录地址];
9. 在hadoop指定目录下创建新目录 hdfs dfs -mkdir /user/t;
10. 在hadoop指定目录下新建一个空文件 hdfs dfs -touchz /user/new.txt;
11. 将hadoop上某个文件重命名 hdfs dfs -mv /user/test.txt /user/ok.txt;
12. 将正在运行的hadoop作业kill掉 hadoop job -kill [job-id];
13. 查看帮助 hdfs dfs -help;