Mac m1 max+VMware+CentOS8学习Hadoop——（一）基本软件安装和环境配置

撞撞1996

已于 2022-07-26 14:56:55 修改

阅读量2.5k

点赞数 3

分类专栏：学习文章标签： hadoop macos 学习 centos

于 2022-07-26 14:50:00 首次发布

本文链接：https://blog.csdn.net/weixin_44847813/article/details/125985250

版权

学习专栏收录该内容

8 篇文章 3 订阅

订阅专栏

以此记录自己使用Mac学习hadoop的心酸过程。网上有很多零零散散的教程，遇到的问题各不相同，希望我也能为大家提供一点帮助。

一：安装VMware、CentOS和Filezilla

安装虚拟机和CentOS8的过程比较简单，可以参考博客：

https://blog.csdn.net/m0_60028455/article/details/125205515

值得注意的是：
（1）直至目前，m1芯片适合安装的虚拟机为VMware Fusion Tech Preview，在官网注册账号即可免费免密使用；
（2）VMware Fusion Tech Preview对应的CentOS8应下载的版本为：CentOS-8-XX-aarch64-dvd-custom-XX.iso。切记，一定要是aarch64，并且只能是CentOS8，否则会报错。
（3）由于安装该版本的虚拟机只能选择为最小安装，为了更直观的查看、上传和下载文件等，安装Filezilla，下载.dmg文件安装即可。

二、配置yum源

由于CentOS8官方已经停止维护了，所以需要替换为阿里源等。在安装好虚拟机以及CentOS之后，进行简单的几步。具体的操作，可以参考博客：

https://blog.csdn.net/qq_29759839/article/details/125860618

在这里插入图片描述
截图来自于博客。其中，博客中的阿里源替换后，CentOS8完美可用。
可以试一下能否联网：

ping www.baidu.com

外网能ping通，表示能用网。
输入：

yum

不报错，显示能安装的jar包等。

三、配置jdk、hadoop基本运行环境

这是最让人炸裂的地方，请一定耐心仔细。

1.禁用防火墙，开启ssh等

CentOS8的命令有了很多改变，禁用防火墙命令请参照博客：

https://blog.csdn.net/haveqing/article/details/105162998

开启ssh请参照博客：

https://blog.csdn.net/j610152753/article/details/122678341

下载部分基本的命令包
1）安装epel-release

yum install -y epel-release

2）安装的是最小系统版，还需要安装如下工具

yum install -y net-tools

3）vim：编辑器

yum install -y vim

2.创建一个非root用户

在虚拟机上创建并修改atguigu用户的密码（ptong为例）

useradd ptong
passwd ptong

配置ptong用户具有root权限，方便后期加sudo执行root权限的命令

vim /etc/sudoers

修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：

#Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
#Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
ptong  ALL=(ALL)     NOPASSWD:ALL

注意：ptong这一行不要直接放到root行下面。

3.创建目录

在/opt目录下创建文件夹，并修改所属主和所属组

mkdir /opt/module
mkdir /opt/software

修改module、software文件夹的所有者和所属组均为ptong用户（你创建的非root用户）

chown ptong:ptong /opt/module 
chown ptong:ptong /opt/software

结果如下：
在这里插入图片描述

重启虚拟机，登录你创建的非root账号。

reboot

4.连接Filezilla与CentOS

在虚拟机中输入ifconfig，可以查看自己的IP地址，如图172.16.6.137。如果提示命令不存在，输入yum install ifconfig进行下载。
在这里插入图片描述
随后打开Filezilla，属于主机（ip地址），用户名（此处用你创建的非root用户名），密码（非root用户的密码）进行连接即可。

也可以点击左上角的图标进入我的站点，在这里进行配置：

如果连接成功，右边远程站点会显示相应的服务器目录列表，如下图：
在这里插入图片描述通过Filezilla将下载到本地的jdk和hadoop通过Filezilla上传到software。这里附上jdk1.8.0-341和Hadoop-3.3.1下载地址：
链接: https://pan.baidu.com/s/1g7X4dFheKIbctJqsTK2DOw
提取码: we34
注意：如果有自己想用的jdk和hadoop版本，请一定注意下载aarch64版本，适用于m1芯片。
上传之后，在虚拟机进行刷新，可以看到software文件夹下相应的压缩文件：
在这里插入图片描述
将其解压缩至/opt/module文件夹即可：

tar -zxvf jdk-8u341-linux-aarch64.tar.gz -C /opt/module/

tar -zxvf hadoop-3.3.1.tar.gz -C /opt/module/

解压结果如下：
在这里插入图片描述

5.配置环境变量

5.1配置JDK环境变量

进入jdk1.8.0_341

cd jdk1.8.0_341/

打开配置文件

sudo vim /etc/profile

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_341
export PATH=$PATH:$JAVA_HOME/bin

esc保存后退出

：wq

让新的环境变量PATH生效

source /etc/profile

测试JDK是否安装成功

java -version

如果能看到以下结果，则代表Java安装成功。
java version “1.8.0_341”
注意：重启（如果java -version可以用就不用重启）

sudo reboot

5.2配置hadoop环境变量

打开Hadoop安装路径

cd hadoop-3.3.1/

打开/etc/profile文件

sudo vim /etc/profile

文件末尾添加如下内容：

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出：

:wq

让修改后的文件生效

source /etc/profile

测试是否安装成功

hadoop version

重启（如果Hadoop命令不能用再重启虚拟机）

sudo reboot

值得注意的是：
配置过程可能会报语言错误，如LC_ALL这类。解决方法是，将配置文件中的语言进行更改，如下：
在这里插入图片描述
最终配置结果如下：

至此，基本的安装和环境已经配置完毕。
我的安装和环境配置一路摸爬滚打，花了整整一天半，进行了无数的百度谷歌。也感谢前人大佬们的博客给予的帮助！博客里写的不能详尽，有许多问题没能及时记录下来。如果大家有遇到别的问题，欢迎留言～