(一)安装虚拟机和
Linux
环境。1.安装
VirtualBox 6.1.12
2.安装
Ubuntu Kylin
(二)参照实验教材第三章的内容安装
Hadoop
系统,安装单机模式。1.创建
hadoop
用户①首先按
ctrl+alt+t
打开终端窗口,创建可以登陆的hadoop
用户,并使用/bin/bash
作为shell
。
②设置密码,为hadoop
用户增加管理员权限,方便部署;
③最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。在登陆界面中选择刚创建的hadoop
用户进行登陆。
2.更新
apt
①用
hadoop
用户登录后,先更新apt
,后续我们使用apt
安装软件,如果没更新可能有一些软件安装不了。
②后续需要更改一些配置文件,先安装vim
。
3.安装
SSH
、配置SSH
无密码登陆①集群、单节点模式都需要用到
SSH
登陆(类似于远程登陆,可以登录某台Linux
主机,并且在上面运行命令),Ubuntu
默认已安装了SSH client
,此外还需要安装SSH server
。
②安装SSH server
后,可以使用如下命令登陆本机:
③每次登陆是需要每次输入密码的,需要配置成SSH
无密码登陆比较方便。首先退出刚才的ssh
,就回到了我们原先的终端窗口,然后利用ssh-keygen
生成密钥,并将密钥加入到授权中。
④此时再用ssh localhost
命令,无需输入密码就可以直接登陆。
4.安装
Java
环境①
Hadoop3.1.3
需要JDK
版本在1.8
及以上,以下采用手动方式安装JDK1.8
。压缩格式的文件jdk-8u162-linux-x64.tar.gz
下载到本地电脑,保存在“/home/hadoop/桌面
”目录下。在Linux
命令行界面中,执行如下Shell
命令(注意:当前登录用户名是hadoop
)
②JDK
文件解压缩以后,可以执行如下命令到/usr/lib/jvm
目录可以看到,在/usr/lib/jvm
目录下有个jdk1.8.0_162
目录。
③继续执行如下命令,设置环境变量。
④打开了hadoop
用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容,保存.bashrc
文件并退出vim
编辑器。
⑤然后继续执行如下命令让.bashrc
文件的配置立即生效,随后查看是否安装成功。在屏幕上返回如下信息,则说明安装成功。
5.安装
Hadoop3.1.3
①压缩格式的文件
hadoop-3.1.3.tar.gz
已经下载保存在“/home/hadoop/桌面
”目录下,选择将Hadoop
安装至/usr/local/
中,并将文件名改为hadoop
和修改文件权限。
②Hadoop
解压后即可使用,输入如下命令来检查Hadoop
是否可用,成功则会显示Hadoop
版本信息:
6.
Hadoop
单机配置(非分布式)①
Hadoop
默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单Java
进程,方便进行调试。选择运行grep
例子,将input
文件夹中的所有文件作为输入,筛选当中符合正则表达式dfs[a-z.]+
的单词并统计出现的次数,最后输出结果到output
文件夹中。
②执行成功后如下所示,输出了作业的相关信息,输出的结果是符合正则的单词dfsadmin
出现了1次。
③(注意,Hadoop
默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将./output
删除。)
(三)参照实验教材第三章的内容安装
Hadoop
系统,安装伪分布式模式。
Hadoop
可以在单节点上以伪分布式的方式运行,Hadoop
进程以分离的Java
进程来运行,节点既作为NameNode
也作为DataNode
,同时,读取的是HDFS
中的文件。
Hadoop
的配置文件位于/usr/local/hadoop/etc/hadoop/
中,伪分布式需要修改2个配置文件core-site.xml
和hdfs-site.xml
。Hadoop
的配置文件是xml
格式,每个配置以声明property
的name
和value
的方式来实现。
①修改配置文件core-site.xml
(通过gedit
编辑会比较方便:gedit ./etc/hadoop/core-site.xml
),将当中的
修改为
②同样修改配置文件hdfs-site.xml
:
修改为
③配置完成后,执行NameNode
的格式化:,成功的话,会看到 “successfully formatted
” 的提示,具体返回类似如下信息。
(四) 运行伪分布式模式,在网络页面上展示
HDFS
的信息。①开启
NameNode
和DataNode
守护进程。
②成功启动后,可以访问Web
界面http://localhost:9870
查看NameNode
和Datanode
信息,还可以在线查看HDFS
中的文件。
(五)运行伪分布式模式的实例。
①伪分布式读取的则是
HDFS
上的数据。要使用HDFS
,首先需要在HDFS
中创建用户目录:
②接着将./etc/hadoop
中的xml
文件作为输入文件复制到分布式文件系统中,即将/usr/local/hadoop/etc/hadoop
复制到分布式文件系统中的/user/hadoop/input
中。我们使用的是hadoop
用户,并且已创建相应的用户目录/user/hadoop
,因此在命令中就可以使用相对路径如input
,其对应的绝对路径就是/user/hadoop/input
:
③复制完成后,可以通过如下命令查看文件列表:
④伪分布式运行MapReduce
作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS
中的文件(可以将单机步骤中创建的本地input
文件夹,输出结果output
文件夹都删掉来验证这一点)。
⑤查看运行结果的命令(查看的是位于HDFS
中的输出结果)。注意到刚才已经更改了配置文件,所以运行结果不同。
⑥将运行结果取回到本地:
⑦Hadoop
运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists
” ,因此若要再次执行,需要执行如下命令删除output
文件夹:
⑧若要关闭Hadoop
,则运行./sbin/stop-dfs.sh
。
下次启动hadoop
时,无需进行NameNode
的初始化,只需要运行./sbin/start-dfs.sh
就可以。
安装Hadoop系统并熟悉hadoop命令
于 2022-05-05 09:24:13 首次发布