2021-03-12

---

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、前期概述

1.1 了解Hadoop：

Hadoop时一个分布式计算平台，是一个开源的分布式基础框架
其用得比较广泛得组件有GFS分布式文件系统和MapReduce分布式计算框架

1.2 前期准备：

jdk安装包
Hadoop压缩包
确保xshell和xftp能够正常使用

二、具体操作

2.1 在本机中传入文件到虚拟机中

在虚拟机根目录下创建software和Hadoop两个文件夹
将Hadoop安装文件移入software目录
用命令解压Hadoop文件到Hadoop目录中

2.2 安装相关包

Hadoop是Java写的，所以必须要JDK，ssh，rsync

在xshell中安装相关包

安装ssh命令：yum install ssh

安装rsync命令：yum install rsync

yum install ssh
yum install rsync

在xshell中，需要存储jdk的路径下
安装JDK：rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
主要是看前面的命令，后面的那一串可以自己用tab键补全

2.3 3，解压Hadoop文件：

因为之前Hadoop已经安装在了虚拟机中，现在需要输入命令解压

2.4 配置jdk

2.4.1 解压jdk

2.4.3 查看是否成功

jdk解压后解压文件安装在 /usr/java/jdk1.8.0_181-cloudera下，进入bin目录
输入命令查看是否已经安装成功

./java -version

2.4.2 配置环境变量
进入 /etc/profile目录下

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH

（这个路径可以在xshell或者xftp等工具里面复制粘贴，既方便也不怕出错）
（pwd可以查看自己在什么路径下）
2.4.3 刷新，再次检查

刷新一下，让修改后的文件生效：

source /etc/profile

再检查一下

java -version

2.5 配Hadoop网卡（不记得可以上官网看）

官网：

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

官网里面看不懂没关系，可以找关键词，也可以搜索翻译
（QQ有个快捷方式：Ctrl+Alt+F：可以翻译）

看到这里，开始进行Hadoop集群配置
2.5.1
解压Hadoop，并在解压后的Hadoop指定目录下编辑
1.配置Hadoop：
etc/hadoop/hadoop-env.sh

vi etc/hadoop/hadoop-env.sh 

注意目录

 bin/hadoop :查看Hadoop使用文档（用的少）

2，配置hdfs（两个）

2.5.2 输入命令（分开逐条输入）

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'
cat output/*

2.5.3 非分布式操作
1.格式化：

2.。。。

2.6 回到Hadoop根目录

firewall-cmd --state :查看防火墙状态
systemctl stop firewalld.service：关闭防火墙
systemctl disable firewalld.service:禁止开机自启

1， firewall-cmd --state :查看防火墙状态
2，systemctl stop firewalld.service：关闭防火墙

这个命令只是暂时关闭
3，systemctl disable firewalld.service:禁止开机自启

三，补充

3.1 xshell：

1. 在xshell中，如果前面显示磁盘时，表示没连接成功
   
   
2. 如果虚拟机没有打开，xshell是无法打开的
   3，输入ip addr可以知道网卡名和电脑IP号
   
   https://blog.csdn.net/qq_40794973/article/details/88904718

3.2 防火墙
查看服务开启启动状态：systemctl list-unit-files

systemctl list-unit-files：查看服务开启启动状态
systemctl disable firewalld：关闭防火墙自启
systemctl enable firewalld：打开防火墙自启

4.多次格式化
https://blog.csdn.net/weixin_42114280/article/details/90176969