Hadoop

Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例
一. 安装Hadoop在虚拟机上
1.1 准备一台虚拟机
1.2 安装JDK
1.3 安装Hadoop
二. 接下来进行配置伪分布式（上面的Hadoop只是单机模式）
2.1 创建文件夹
2.2 修改hadoop配置文件
2.3 启动Hadoop
2.4 访问UI界面
三. 实现WordCount案例(词频统计)
3.1 词频统计实现
3.2 将测试文本拖进hdfs
3.3 执行案例jar包
制作不易,转载请标注~
一. 安装Hadoop在虚拟机上
1.1 准备一台虚拟机
我这边准备的是Centos7版本的虚拟机

为了以防万一,可以在不确定虚拟机是否崩盘的情况下,克隆一下虚拟机,右键虚拟机打开管理点克隆~

1.2 安装JDK
我在桌面准备了这次安装的所有压缩文件,因为Hadoop依靠于JDK环境,所以我们首先安装JDK1.8

首先用我们的xftp工具把JDK拷贝到 /usr/java/ 路径下,然后使用

tar -zxvf jdk-8u231-linux-i586.tar.gz
1
将压缩包解压到当前目录,注意虚拟机自带OpenJDK的需要提前卸载以免安装错误

解压完成后进入JDK目录(蓝色的)

这里我们打印出来当前目录: /usr/java/jdk1.8.0_231

cd jdk1.8.0_231/
[root@kaikai jdk1.8.0_231]# pwd
/usr/java/jdk1.8.0_231

1
2
3
4
提前进入root权限 su 命令输入密码,编辑环境变量,

vim /etc/profile
1
先按i进入insert模式,我们在如下 unset -f pathmunge 添加如下三条 第一行为JDK的地址

unset i
unset -f pathmunge
#jdk
export JAVA_HOME=/usr/java/jdk1.8.0_231 
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

1
2
3
4
5
6
7
修改完后,按ESC退出编辑模式再按shift+: 输入wq保存并退出

紧接着我们在命令行输入来使我们的配置文件生效,每配置一次环境变量就得刷新一次使生效

source /etc/profile
1
接着我们来验证一下jdk安装成功没,输入

[root@kaikai jdk1.8.0_231]# java -version
java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot(TM) Server VM (build 25.231-b11, mixed mode)
1
2
3
4
出现以上即可证明JDK安装成功~

1.3 安装Hadoop
首先把Hadoop安装包copy到虚拟机目录下

[root@kaikai jdk1.8.0_231] cd /opt/hadoop/
1
解压Hadoop安装包

[root@kaikai hadoop] tar -zxvf hadoop-3.2.1.tar.gz 
1
进入Hadoop查看当