旺仔Sec&blog

（4）在Master将Hadoop解压到/opt/module(若路径不存在，则需新建)目录下，并将解压包分发至slave1、slave2中，其中master、slave1、slave2节点均作为datanode，配置好相关环境，初始化Hadoop环境namenode，将初始化命令及初始化结果截图（截取初始化结果日志最后20行即可）粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。（2）修改容器中/etc/profile文件，设置Flink环境变量并使环境变量生效。

本任务在 MySQL 中创建表 t_comment 和表 t_hotel，并将用户评论数据comments.csv 和酒店经营数据 hotel.csv 分别导入到表 t_comment 和表t_hotel 中

近年来随着社会经济的快速发展，百姓生活水平的不断提高，外出 旅游成为很多人生活的热门选择，如何促进旅游业的发展成为各级政府高度重视的工作。为了更好地统筹管理城市的旅游资源，某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据，其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最低房价等字段，这些数据保存到文件 hotel.csv 中。

随着中国数字化转型战略的推进，传统通信行业正面临着数字化转型的挑战和机遇；用户对通信服务的需求已经发生了根本性的变化，通信运营商正在通过技术创新和服务升级来满足这些需求；数字化转型涉及到网络建设、数据管理、 服务创新等方面，大数据技术成为关键驱动力之一。为了应对这一转型，我们要求参赛者搭建通信行业大数 据分析平台，并利用 Hive 数仓技术和 Spark 计算引擎对通信用户行为数据进行操作和分析；通过这样的平台，可以快 速处理和挖掘海量数据，得出有价值的洞察和分析结果。

为了更好地统筹管理城市的旅游资源，某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据，其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天 预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最 低房价等字段，这些数据保存到文件hotel.csv 中。2）使用 matplotlib 绘制柱状图， 柱状图的标题为“不同星级酒 店的住客评分数据”， 柱状图的横坐标分别为三星级酒店、四星级 酒店和五星级酒店，纵坐标为星级酒店对应的住客评分的平均值。请按照下面的要求完成相关任务。

数据文件名见如下“电影数据文件名说明表”，每个文件中需要爬取数据的列名见如下“抓取数据字段说明表”，注意，保存到文件中时，必须按表中字段的列举顺序进行保存。(3)时长处理：时长处理为整型，如果有秒数的，可忽略不计，时长有缺失的，要使用电影上映同年的其它电影的平均时长来填充，如果没有和其同年上映的电影，则使用其它所有年份电影上映平均时长的平均值来填充（例如现有年份2020、2021、2022，没有2020年上映的电影，则用2021年上映电影的平均时长和2022年上映电影的平均时长取平均值去填充）;

(3)将用户数据、电影数据、评分数据合并为一张表，合并后将性别列使用数字进行替换，0代表female，1代表male，处理完成后将数据保存到“film”项目下的“clean_data”目录中，并命名为 “merged_data.csv”，保存后使用WPS打开，截取行号为1001~1020行数据截图粘贴到答题报告中的相应位置；画布大小为（15, 10）；2、筛选出2020年6月的天气，新增一列数据为“是否适合出游”，若当日最低气温大于等于20且最高气温小于等于25，则打标签为“是”，否则标记为“否”。

数据文件名见如下“电影数据文件名说明表”，每个文件中需要爬取数据的列名见如下“抓取数据字段说明表”，注意，保存到文件中时，必须按表中字段的列举顺序进行保存。(3)时长处理：时长处理为整型，如果有秒数的，可忽略不计，时长有缺失的，要使用电影上映同年的其它电影的平均时长来填充，如果没有 和其同年上映的电影，则使用其它所有年份电影上映平均时长的平均 值来填充（例如现有年份2020、2021、2022，没有2020年上映的电影， 则用2021年上映电影的平均时长和2022年上映电影的平均时长取平均 值去填充）;

为了更好地统筹管理城市的旅游资源， 某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据，其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最低房价等字段，这些数据保存到文件 hotel.csv 中。2）使用 matplotlib 绘制柱状图，柱状图的标题为“不同星级酒店的住客评分数据”，柱状图的横坐标分别为三星级酒店、四星级酒店和五星级酒店，纵坐标为星级酒店对应的住客评分的平均值。将可视化结果复制粘贴至对应报告中。

将 /opt/software 目录下将文件 jdk-8u191-linux-x64.tar.gz 安装包（若slave1、slave2节点不存在以上文件则需从master节点复制）解压到 /opt/module 路径中（若路径不存在，则需新建），将 JDK 解压命令复制并粘贴至【提交结果.docx】中对应的任务序号下；在master 上将执行命令 grep ‘hadoop’ /etc/sudoers 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下；