【hadoop】大数据核心技术综合练习

你好呀！这里是小易同学的博客，一名大二在校生。
写博客是为了记录自己的学习过程，同时也希望能帮助到需要帮助的人。
如果我的博客可以帮助到你，不妨给我一个关注🥰

---

实践题目：

1、把学生表，选课表，课程表，课程_班级表 先用flume导入到hdfs，然后在hive上建表并导入数据

2、用hive分析数据：

   a、男女生比例

   b、及格率

   c、每门课程的平均分，要求显示出课程的中文名字

   d、有2门课不及格的学生

3、在mysql中创建结果表，把结果用sqoop写入到表中，并显示结果。

4，可视化

---

---

实践报告：

一、将所有的文件用flume先导入hdfs

以下是要导的四个文件

1.在hdfs中创建一个目录用来存放四个数据表的文件

2.配置source，channel以及sink

第一个框填写所要上传的文件路径

第二个框填写所要上传的文件上一级目录路径（即文件夹路径）

第三个框是hdfs.path，这里是用来指定hdfs上的存储目录

3.启动Agent（记得是在启动hdfs的前提下）

命令：flume-ng agent --conf conf --conf-file class4.conf --name a1 -Dflume.hadoop.logger=INFO,console

4.查询hdfs中相应目录下是否成功导入文件

5.为了防止各文件的混乱，修改文件的名字