前提条件:
安装好hadoop2.7.3(Linux系统下)
安装好MySQL(Windows或Linux系统下)
安装好Hive(Linux系统下)参考:Hive安装配置
题目:
从搜狗实验室下载搜索数据进行分析
下载的数据包含6个字段,数据格式说明如下:
访问时间 用户ID [查询词] 该URL在返回结果中的排名 用户点击的顺序号 用户点击的URL
注意:
1.字段分隔符:字段分隔符是个数不等的空格;
2.字段个数:有些行有6个字段,有些达不到6个字段。
问题:使用MapReduce和Hive查询出搜索结果排名为第2名,点击顺序排在第1的数据?
实验步骤:
思路:用MapReduce做数据清洗,用Hive来分析数据。
1.下载数据源
打开搜狗实验室链接
http://www.sogou.com/labs/resource/q.php
下载精简版(一天数据,63MB) tar.gz格式数据
百度网盘如下:
链接:https://pan.baidu.com/s/1tPFRBUB4vG4GQCpw1qXsEA
提取码:danj
下载后文件如下:
2.上传下载文件至HDFS
2.1将下载的文件通过Xshell工具上传到Linux系统
2.2 解压SogouQ.reduced.tar.gz并上传到HDFS
解压:
tar -zxvf SogouQ.reduced.tar.gz
可以用tail命令查看解压文件最后3行的数据
tail -3 SogouQ.reduced
查询词为中文,这里编码按UTF-8查出来是乱码,编码时指定为‘GBK’可避免乱码。数据格式如前面的说明:
访问时间 用户ID [查询词] 该URL在返回结果中的排名 用户点击的顺序号 用户点击的URL
上传至HDFS:
hdfs dfs -put SogouQ.reduced /
查看是否上传成功
hdfs dfs -ls /
3.数据清洗
因为原始数据中有些行的字段数不为6,且原始数据的字段分隔符不是Hive表规定的逗号’,',所以需要对原始数据进行数据清洗。
通过编写MapReduce程序完成数据清洗:
a.将不满足6个字段的行删除
b.将字段分隔符由不等的空格变为逗号‘,’分隔符
3.1 idea新建Maven工程:Zongheshiyan
Group Id填写com, Artifact Id填写Zongheshiyan
新建工程目录结构如下:
3.2 新建两个类
App和SogouMapper
3.3 修改pom.xml文件
设置主类:在一行之前添加如下语句
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>3.1.0</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<!-- main()所在的类,注意修改为包名+主类名 -->
<mainClass>com.Zongheshiyan.App</mainClass>
</transformer>
</transformers>
</configuration