1.实验目的
- 了解与掌握Hadoop的安装方法;
- 了解与熟悉配置Hadoop的方法;
- 了解与熟悉Hadoop的运行方法。
2.实验内容及结果截屏
(1)Hadoop的安装
①配置软件库
配置CDH 6.1的软件库,创建并打开软件库文件/etc/yum.repos.d/cloudera-cdh6.repo:
使用createrepo命令导入软件库,并更新缓存:
②安装JAVA环境
使用mkdir命令创建/usr/java文件夹:
使用tar命令将jdk-8u192-linux-x64.tar.gz文件解压缩到文件夹/usr/java:
③安装关系型数据库MySQL
使用yum命令安装MySQL软件包:
使用systemctl enable命令配置MySQL服务在系统启动时自动启动:
打开MySQL配置文件:
使用systemctl restart命令启动MySQL服务:
执行安装脚本/usr/bin/mysql_secure_installation配置MySQL中root用户的密码以及其他安全选项,先输入临时密码,再将root用户密码设为Sh123456!:
④安装关系型数据库MySQL JDBC驱动器
使用rpm命令安装MySQL JDBC驱动器:
⑤安装Hadoop核心组件:
使用yum install命令在线安装Hadoop核心组件。
(2)Hadoop的配置
①使用默认配置
使用cp命令将默认配置文件夹拷贝一份到文件夹/etc/hadoop/conf.my_cluster,后续配置都基于该默认配置修改:
使用alternatives命令设置配置的优先级,并显示当前配置:
②Hadoop的核心配置
打开Hadoop核心配置文件/etc/hadoop/conf.my_cluster/core-site.xml,加入配置项:
③HDFS的配置
打开HDFS配置文件/etc/hadoop/conf.my_cluster/hdfs-site.xml,加入配置项:
④MapReduce的配置
打开MapReduce配置文件/etc/hadoop/conf.my_cluster/mapred-site.xml,加入配置项:
⑤YARN的配置
打开YARN配置文件/etc/hadoop/conf.my_cluster/yarn-site.xml,加入配置项:
(3)Hadoop的运行
①格式化HDFS
在第一次启动HDFS之前,使用命令hdfs namenode -format格式化HDFS:
②启动Hadoop核心组件
使用service start命令启动Hadoop核心组件:
③建立/tmp文件夹
以hdfs用户使用hdfs dfs -mkdir命令创建文件夹/tmp以及hdfs dfs -chmod命令将文件夹权限改为任何用户都可以读写:
④创建用户个人文件夹
以hdfs用户使用hdfs dfs -mkdir命令创建文件夹/user/root以及hdfs dfs -chown命令将文件夹所有权移交给root用户:
⑤验证Hadoop正常运行
打开浏览器,输入http://localhost:9870,访问命名节点的网页接口:
提交一个计算π的示例MapReduce程序,第1个参数表示Map任务数,第2个参数表示每个Map任务的样本数:
3.实验分析及小结
在此次实验过程中,我了解与掌握了如何安装、配置、运行Hadoop。由于步步紧跟指导,我的实验过程十分顺利,没有遇到报错之类的问题。