大数据技术入门-02-hadoop的环境搭建

系列文章目录

大数据技术入门-01-安装Centos

---

文章目录

前言

一、模板虚拟机的环境准备

1）把ip地址固定

2）用xshell工具或者其他的远程连接工具连接虚拟机

3）通过yum安装方式安装必要的软件（因为一开始安装Linux是最小化安装）

4）关闭防火墙，关闭防火墙开机自启

5）创建自己的用户，并修改用户的密码

6）配置hyh用户具有root权限，方便后期加sudo执行root权限的命令

7）在/opt目录下创建文件夹，并修改所属主和所属组

8）卸载虚拟机自动的open jdk

9）重启虚拟机

二、克隆虚拟机

1）利用hadoop101,克隆三台虚拟机 hadoop102 hadoop103 hadoop104

2）修改克隆机的主机名

3）修改克隆机ip，以hadoop102为例子进行修改

4）配置克隆机主机名映射hosts文件

5）修改windows的主机映射文件(hosts文件)

三、在hadoop102安装软件

1）jdk的安装

2）hadoop的安装

总结

---

前言

本人目前是大数据专业的本科学生，在学习时将大数据基础例如Hadoop环境配置以及数据分析、Spark等内容记录，此系列仅供学习与参考，如有错误，希望大家多多指正。

---

一、模板虚拟机的环境准备

1）把ip地址固定

vi /etc/sysconfig/network-scripts/ifcfg-ens33

点击编辑，进入虚拟网络编辑器，点击DHCP设置，查看IP分配地址，点击NAT设置，查看网关，随后在ifcfg-ens33文件中固定ip地址。

 

注意将BOOTPROTO设置为static。

2）用xshell工具或者其他的远程连接工具连接虚拟机

根据虚拟机ip地址来进行连接。

3）通过yum安装方式安装必要的软件（因为一开始安装Linux是最小化安装）

前提是能连接到网络，执行以下代码：

[root@hadoop101 ~]# yum install -y epel-release
[root@hadoop101 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd
openssl-static tree iotop git

tips：可以尝试ping www.baidu.com 来测试是否有网络，如果没有网络，可以尝试以下步骤来解决。添加nameserver 8.8.8.8，你的DNS。

vim /etc/resolv.conf

4）关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 关闭防火墙的开机自启

5）创建自己的用户，并修改用户的密码

useradd hyh 这里用自己的用户名
passwd hyh  为用户设置密码

6）配置hyh用户具有root权限，方便后期加sudo执行root权限的命令

vim /etc/sudoers 添加如下内容：

 7）在/opt目录下创建文件夹，并修改所属主和所属组

chown hyh:hyh /opt/module/
chown hyh:hyh /opt/software/

8）卸载虚拟机自动的open jdk

查看 java 是否安装：

rpm -qa |grep java

如果有则卸载：

rpm -e --nodeps 要卸载的文件名

或者用一个命令来卸载：

rpm -qa |grep java | xargs -n1 rpm -e --nodeps

9）重启虚拟机

reboot

---

二、克隆虚拟机

1）利用hadoop101,克隆三台虚拟机 hadoop102 hadoop103 hadoop104

 按照默认的进行安装，在克隆类型的时候，选择创建完整克隆

 2）修改克隆机的主机名

vim /ect/hostname

3）修改克隆机ip，以hadoop102为例子进行修改

 vim /etc/sysconfig/network-scripts/ifcfg-ens33

4）配置克隆机主机名映射hosts文件

 vim /etc/hosts

添加如下内容：（根据你的ip地址）

192.168.229.101 hadoop101

192.168.229.102 hadoop102

192.168.229.103 hadoop103

192.168.229.104 hadoop104

重启虚拟机，其它的hadoop103 hadoop104 按照步骤一样的修改对应的 ip

5）修改windows的主机映射文件(hosts文件)

进入 C:\Windows\System32\drivers\etc 路径，修改hosts 文件。

192.168.81.101 hadoop101

192.168.81.102 hadoop102

192.168.81.103 hadoop103

192.168.81.104 hadoop104

---

三、在hadoop102安装软件

1）jdk的安装

以刚才创建用户来进行

1). 上传 jdk 和 hadoop 的安装包到 /opt/software

2). 解压 jdk 和 hadoop 到 /opt/module 下

[hyh@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

3).配置环境变量  

在/etc/profile.d

创建一个文件 my_env.sh

[hyh@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

添加内容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

保存退出(:wq!)

4).让环境变量生效

[hyh@hadoop102 software] source /etc/profile 

5).验证java是否安装成功  

java -version

如果成功能显示java的版本号 ，代表安装完成。

 

 2）hadoop的安装

1). 上传 hadoop 的安装包到 /opt/software

2). 解压 hadoop 到 /opt/module 下

[hyh@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

3). 查看是否解压成功

[hyh@hadoop102 software]$ ll /opt/module/

如果能看到 hadoop 的目录说明成功

4). 将 Hadoop 添加到环境变量

获取 hadoop 的安装路径

添加环境变量

[hyh@hadoop102 hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

[hyh@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

 添加如下内容

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

5).让环境变量生效  

[hyh@hadoop102 hadoop-3.1.3]$ source /etc/profile

6).测试是否安装成功  

[hyh@hadoop102 hadoop-3.1.3]$ hadoop version

Hadoop 3.1.3

7). 重启

[hyh@hadoop102 hadoop-3.1.3]$ sudo reboot

---

总结

        本系列文章介绍了大数据技术领域中安装CentOS以及搭建Hadoop环境的过程。文章通过详细的步骤和说明，帮助读者准备虚拟机环境、克隆虚拟机并进行相应配置，以及在hadoop102节点上安装JDK和Hadoop。通过这些操作，读者能够建立起一个基本的Hadoop环境，并为将来的工作做好准备。

        作为一名大数据专业的本科学生，作者将自己学习大数据基础知识的过程记录下来，希望为其他学习者提供学习和参考的资料。作者强调本系列文章仅供学习和参考使用，如有错误，欢迎读者多多指正。

        在接下来的篇章中，将继续介绍如何将Hadoop环境分发到hadoop103和hadoop104节点。如果读者对本系列文章感兴趣，欢迎关注和收藏，以获取更多有关大数据技术的知识。

        谢谢大家的支持与关注！

---

大数据技术入门-03-hadoop的运行模式__雕尔塔_的博客-CSDN博客