本文目录如下:
1.Hadoop运行环境搭建
首先需要使用VMware或其他工具先安装一个Linux虚拟机,并运行它。
1.1 虚拟机环境准备
- (1) 首先为崭新的Linux虚拟机创建一个快照,可以命名为"
clean
"。并使用此快照克隆一台虚拟机(链接克隆),命名为"hadoop100
",打开该虚拟机。
注:每克隆一台虚拟机,都需要为其修改
静态IP
(2)、主机名
(3)和网卡脚本文件
(4)。
- (2) 修改虚拟机的静态IP
[root@hadoop100 opt]$ vim /etc/sysconfig/network-scripts/ifcfg-eth0
# 大致修改为如下样式
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static # 设置为静态IP
NM_CONTROLLED=no
IPADDR=192.168.91.100
NETMASK=255.255.255.0
GATEWAY=192.168.91.2
DNS1=192.168.91.2
NAME=eth0
# 如果不成功, 尝试把 NAME 注释掉
# 修改之后可以使用 ifconfig 查看是否配置成功
[root@hadoop100 opt]$ ifconfig
详细步骤请见:原文地址
设置静态IP和主机名也可以参考(第2条):原文地址
- (3) 修改主机名
[root@hadoop100 opt]$ vim /etc/sysconfig/network
# 修改为如下样式
HOSTNAME=hadoop100
- (4) 修改网卡脚本文件
注意:克隆的虚拟机需要修改网卡文件。新虚拟机不需要修改。
[root@hadoop100 opt]$ vim /etc/udev/rules.d/70-persistent-net.rules
打开之后按照如下提示进行操作即可:
- (5) 修改hosts文件
[root@hadoop100 opt]$ vim /etc/hosts
#在后面添加如下内容
192.168.91.100 hadoop100
192.168.91.101 hadoop101
192.168.91.102 hadoop102
# 如有需求可添加更多
- (6) 关闭防火墙
[root@hadoop100 opt]$ service iptables stop
# 永久关闭防火墙
[root@hadoop100 opt]$ chkconfig iptables off
# 关闭后记得重启系统
[root@hadoop100 opt]$ reboot
Bug
:在这一步之后,应该可以使用XShell软件连接虚拟机进行操作了。在网络连接模式为"桥接模式
"时,怎么都连接不上,ping也ping不通,最后将网络连接模式改为"NET连接
"之后,XShell成功连接上虚拟机。
- (7) 创建xqzhao用户
[root@hadoop100 opt]$ useradd xqzhao
[root@hadoop100 opt]$ passwd xqzhao
- (8) 配置xqzhao用户具有root权限
[root@hadoop100 opt] vim /etc/sudoers
详细步骤请见:Linux操作笔记(第4条)
- (9) 在/opt目录下创建module、software文件夹
[xqzhao@hadoop100 opt]$ sudo mkdir module
[xqzhao@hadoop100 opt]$ sudo mkdir software
# 注:module文件夹用于安装软件
# software文件夹用于存放软件安装包
- (10) 修改module、software文件夹的所有者cd
[xqzhao@hadoop100 opt]$ sudo chown xqzhao:xqzhao module/ software/
[xqzhao@hadoop100 opt]$ ll
总用量 8
drwxr-xr-x. 2 xqzhao xqzhao 4096 1月 17 14:37 module
drwxr-xr-x. 2 xqzhao xqzhao 4096 1月 17 14:38 software
-
(11) 修改 windows 的主机映射文件(
hosts 文件
)
略… -
(12) 注意:至此,虚拟机的基础设置应该就差不多了。我们可以再为虚拟机创建一个快照(虚拟机关机状态下),建议命名为
After Configuration
,后面再克隆虚拟机,将使用这个快照去克隆(链接克隆)。克隆之后的虚拟机只需要修改静态IP
(2)、主机名
(3)和网卡脚本文件
(4)。 -
此时克隆两台虚拟机,分别命名
hadoop101
和hadoop102
。
1.2 安装JDK
1.2.1 卸载现有JDK
- (1) 查询是否安装Java软件:
[xqzhao@hadoop100 opt]$ rpm -qa | grep java
- (2) 如果安装的版本低于1.7,卸载该JDK:
[xqzhao@hadoop100 opt]$ rpm -qa | grep java | xargs sudo rpm -e --nodeps
- (3) 查看JDK安装路径:
[xqzhao@hadoop100 ~]$ which java
1.2.2 在Linux系统下的opt目录中查看软件包是否导入成功
[xqzhao@hadoop100 opt]$ cd software/
[xqzhao@hadoop100 software]$ ls
hadoop-3.2.1.tar.gz jdk-8u144-linux-x64.tar.gz
1.2.3 解压JDK到/opt/module目录下
[xqzhao@hadoop100 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
1.2.4 配置JDK环境变量
- (1) 先获取JDK路径
[xqzhao@hadoop100 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
- (2) 打开/etc/profile文件
[xqzhao@hadoop100 software]$ sudo vim /etc/profile
注:在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
- (3) 让修改后的文件生效
[xqzhao@hadoop100 jdk1.8.0_144]$ source /etc/profile
1.2.5 测试JDK是否安装成功
[xqzhao@hadoop100 jdk1.8.0_144]$ java -version
java version "1.8.0_144"
注意:重启(如果java -version可以用就不用重启)
[xqzhao@hadoop100 jdk1.8.0_144]$ sync # 数据同步,不知道有什么用哈哈
[xqzhao@hadoop100 jdk1.8.0_144]$ sudo reboot
1.3 安装Hadoop
1.3.1 进入到Hadoop安装包路径下
[xqzhao@hadoop100 ~]$ cd /opt/software/
1.3.2 解压安装文件到/opt/module下面
[xqzhao@hadoop100 software]$ tar -zxvf hadoop-3.2.1.tar.gz -C /opt/module/
注:Hadoop下载地址:
- (1) 官方网址:官方网址下载
- (2) 参考网址:Hadoop全版本下载
注:本系列博客使用的Hadoop版本为:Hadoop3.2.X
1.3.3 查看是否解压成功
[xqzhao@hadoop100 software]$ ls /opt/module/
hadoop-3.2.1
1.3.4 将Hadoop添加到环境变量
- (1) 获取Hadoop安装路径
[xqzhao@hadoop100 hadoop-3.2.1]$ pwd
/opt/module/hadoop-3.2.1
- (2) 打开/etc/profile文件
[xqzhao@hadoop100 hadoop-3.2.1]$ sudo vim /etc/profile
注:在profile文件末尾添加Hadoop路径:(shitf+g)
# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
- (3) 让修改后的文件生效
[xqzhao@ hadoop100 hadoop-3.2.1]$ source /etc/profile
1.3.5 测试是否安装成功
[xqzhao@hadoop100 hadoop-3.2.1]$ hadoop version
Hadoop 3.2.1
1.3.6 重启(如果Hadoop命令不能用再重启)
[xqzhao@ hadoop100 hadoop-3.2.1]$ sync
[xqzhao@ hadoop100 hadoop-3.2.1]$ sudo reboot
1.4 Hadoop目录结构
1.4.1 查看Hadoop目录结构
[atguigu@hadoop101 hadoop-3.2.1]$ ll
总用量 52
drwxr-xr-x. 2 xqzhao xqzhao 4096 5月 22 2017 bin
drwxr-xr-x. 3 xqzhao xqzhao 4096 5月 22 2017 etc
drwxr-xr-x. 2 xqzhao xqzhao 4096 5月 22 2017 include
drwxr-xr-x. 3 xqzhao xqzhao 4096 5月 22 2017 lib
drwxr-xr-x. 2 xqzhao xqzhao 4096 5月 22 2017 libexec
-rw-r--r--. 1 xqzhao xqzhao 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 xqzhao xqzhao 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 xqzhao xqzhao 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 xqzhao xqzhao 4096 5月 22 2017 sbin
drwxr-xr-x. 4 xqzhao xqzhao 4096 5月 22 2017 share
1.4.2 重要目录
bin目录
:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本etc目录
:Hadoop的配置文件目录,存放Hadoop的配置文件lib目录
:存放Hadoop的本地库(对数据进行压缩解压缩功能)sbin目录
:存放启动或停止Hadoop相关服务的脚本share目录
:存放Hadoop的依赖jar包、文档、和官方案例
注:看完这篇博客之后,你可以继续看本系列的第二篇进行测试,当然也可进入本系列的第三篇博客直接进行集群搭建:Hadoop运行模式-完全分布式(重点)
1.5 Windows安装Hadoop(并配置IDEA开发环境)
—>Windows安装Hadoop(并配置IDEA开发环境)
声明:本文是学习时记录的笔记,如有侵权请告知删除!
原视频地址:https://www.bilibili.com/video/BV1Me411W7PV