Hive项目实战二

最新推荐文章于 2024-05-06 17:34:21 发布

xiaoyaGrace

最新推荐文章于 2024-05-06 17:34:21 发布

阅读量120

点赞数

分类专栏： hive

本文链接：https://blog.csdn.net/xiaoyaGrace/article/details/103142362

版权

hive 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文介绍了在Hive项目中进行数据清洗的过程，包括分析video.txt文件中视频分类的数据结构，通过MapReduce实现数据清洗，确保每个视频的分类正确，并处理缺失或不合法的数据。在MapUtils.java工具类中，清洗逻辑包括去除类别中的空格和替换特定分隔符。最后，通过MapVideo和MapRun类执行MapReduce任务，完成数据清洗并上传到HDFS。

摘要由CSDN通过智能技术生成

数据清洗

1)数据分析

在video.txt中，视频可以有多个所属分类,每个所属分类用&符号分割,并且分割的两边有空格字符,多个相关视频又用“\t”进行分割。为了分析数据时方便对存在多个子元素的数据进行操作,我们首先进行数据重组清洗操作。

具体做法：将所有的类别用“&”分割,同时去掉两边空格,多个相关视频 id 也使用“&”进行分割，这里看起来将"&"换成"\t"更方便，但是如果这样做就会将视频所属分类分割成不同字段，这样就没有办法进行清洗了

2)注意事项

这里的数据清洗不涉及reduce操作，所以只用map即可，视频的相关视频id可以没有，但是比如评论数必须有值，没有评论即为0，所以如果一条数据的字段缺少，也是脏数据，是要被清洗的

2.数据清洗具体代码编写

创建的是maven工程，所以要首先导入pom.xml文件

<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.z</groupId>
<artifactId>youtube</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>youtube</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<repositories>
<repository>
<id>centor</id>
<url>http://central.maven.org/maven2/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-server-resourcemanager</artifactId>
<version>2.7.2</version>
</dependency>
</dependencies>
</project>

代码具体编写思路：

首先创建一个工具类，在工具类中对数据进行清洗，即过滤掉不合法数据，去掉视频类别中“&”符号两边的空格，将“\t”换成“&”

工具类MapUtils.java

package cn.ys;
public class MapUtils {
public static String getTest(String ori) {
String[] splits = ori.split("\t");
//1、过滤不合法数据
if(splits.length < 9) return null;
//2、去掉&符号左右两边的空格
splits[3] = splits[3].replaceAll(" ", "");
StringBuilder sb = new StringBuilder();
//3、\t 换成&符号
for(int i = 0; i < splits.length; i++){
sb.append(splits);
if(i < 9){
if(i != splits.length - 1){
sb.append("\t");
}
}else{
if(i != splits.length - 1){
sb.append("&");
}
}
}
return sb.toString();
}
}

这里可以在MapUtils.java中插入以下代码进行简单的测试，看是否能够达到数据清洗的目的

public static void main(String[] args) {
String test="f9_oaKYFM0c dvpwiiii 732 People & Blogs 107 328022 3.6 321 619 5Ud0t3KQfmk QBGoAH-w4OM kD7-AU0L1RU i1e0x6w6U3M llwhZMC65C0 vce_NSpJr98 8JDcV1IF8Tw lwbeuufziAE 2yvWSNhXyME ky6vPrqTIIA fvA0HpquoB0 Nds-Bg60VmU v3AXDJtYP2w tDXS6x1HDWk qs7tqSv-hgc b36Zg7yXfEg yoMckc0X1gA VzngDp2n2GA GkmbiZMnrfI Ad09vdpHmFM ";
System.out.println(getTest(test));
}

Map类MapVideo.java

package cn.ys;
import java.io.IOException;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hdfs.util.EnumCounters.Map;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class MapVideo extends Mapper<Object, Text, NullWritable, Text>{
@Override
protected void map(Object key, Text value, Mapper<Object, Text, NullWritable, Text>.Contextcontext)
throws IOException, InterruptedException {
Text text = new Text();
String video = MapUtils.getTest(value.toString());
text.set(video);
if(video!=null) {
context.write(NullWritable.get(),text);
}
}
}