大数据基础平台——Hadoop简介

1.实验目的

1. 了解与掌握Hadoop的安装方法；
2. 了解与熟悉配置Hadoop的方法；
3. 了解与熟悉Hadoop的运行方法。

2.实验内容及结果截屏

（1）Hadoop的安装

①配置软件库

配置CDH 6.1的软件库，创建并打开软件库文件/etc/yum.repos.d/cloudera-cdh6.repo：

 使用createrepo命令导入软件库，并更新缓存：

②安装JAVA环境

使用mkdir命令创建/usr/java文件夹：

 使用tar命令将jdk-8u192-linux-x64.tar.gz文件解压缩到文件夹/usr/java：

③安装关系型数据库MySQL

使用yum命令安装MySQL软件包：

 使用systemctl enable命令配置MySQL服务在系统启动时自动启动：

打开MySQL配置文件：

 

使用systemctl restart命令启动MySQL服务：

执行安装脚本/usr/bin/mysql_secure_installation配置MySQL中root用户的密码以及其他安全选项，先输入临时密码，再将root用户密码设为Sh123456!：

④安装关系型数据库MySQL JDBC驱动器

使用rpm命令安装MySQL JDBC驱动器：

⑤安装Hadoop核心组件：

使用yum install命令在线安装Hadoop核心组件。

（2）Hadoop的配置

①使用默认配置

使用cp命令将默认配置文件夹拷贝一份到文件夹/etc/hadoop/conf.my_cluster，后续配置都基于该默认配置修改：

 使用alternatives命令设置配置的优先级，并显示当前配置：

②Hadoop的核心配置

打开Hadoop核心配置文件/etc/hadoop/conf.my_cluster/core-site.xml，加入配置项：

③HDFS的配置

打开HDFS配置文件/etc/hadoop/conf.my_cluster/hdfs-site.xml，加入配置项：

④MapReduce的配置

打开MapReduce配置文件/etc/hadoop/conf.my_cluster/mapred-site.xml，加入配置项：

⑤YARN的配置

打开YARN配置文件/etc/hadoop/conf.my_cluster/yarn-site.xml，加入配置项：

 

 （3）Hadoop的运行

①格式化HDFS

在第一次启动HDFS之前，使用命令hdfs namenode -format格式化HDFS：

②启动Hadoop核心组件

使用service start命令启动Hadoop核心组件：

③建立/tmp文件夹

以hdfs用户使用hdfs dfs -mkdir命令创建文件夹/tmp以及hdfs dfs -chmod命令将文件夹权限改为任何用户都可以读写：

 

 

④创建用户个人文件夹

以hdfs用户使用hdfs dfs -mkdir命令创建文件夹/user/root以及hdfs dfs -chown命令将文件夹所有权移交给root用户：

⑤验证Hadoop正常运行

打开浏览器，输入http://localhost:9870，访问命名节点的网页接口：

 提交一个计算π的示例MapReduce程序，第1个参数表示Map任务数，第2个参数表示每个Map任务的样本数：

 

3.实验分析及小结

       在此次实验过程中，我了解与掌握了如何安装、配置、运行Hadoop。由于步步紧跟指导，我的实验过程十分顺利，没有遇到报错之类的问题。