（2）添加依赖
展开项目目录，编辑pom.xml配置文件，添加如下依赖
<!-- Hadoop所需对应依赖包 -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>3.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>3.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.3.1</version>
</dependency>
</dependencies>
<build>
<plugins>
<!-- 编译打包项目的插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>6</source>
<target>6</target>
</configuration>
</plugin>
</plugins>
</build>
项目创建完毕
三、编写MapReduce程序
===============
如果对Map和Reduce对应阶段的任务和处理结果不熟悉的可以看我之前那一篇 单词统计排序教程，有详细介绍
（1）自定义数据类
该类的作用：方便统计主播的指标数据，需要把这些字段整合到一个对象中，以便日后维护
新建一个VideoInfoWritable类继承Writable类，设置四个属性，自己补上get()和set()方法
public class VideoInfoWritable extends Writable {
private long gold; //金币
private long watchnumpv; //观看时长
private long follower; //粉丝数量
private long length; //总播放时长
}
复写Writable类的两个方法，一个readFileds输入数据，一个write输出数据
@Override
public void readFields(DataInput dataInput) throws IOException {
this.gold = dataInput.readLong();
this.watchnumpv = dataInput.readLong();
this.follower = dataInput.readLong();
this.length = dataInput.readLong();
}
@Override
public void write(DataOutput dataOutput) throws IOException {
dataOutput.writeLong(gold);
dataOutput.writeLong(watchnumpv);
dataOutput.writeLong(follower);
dataOutput.writeLong(length);
}
（2）Mapper类
该类的作用：对数据进行按行读取，切割获取对应字段数据，封装字段数据到（1）自定义的类对象中
新建一个videoInfoMap类继承Mapper类，复写mapper方法
public class VideoInfoMap extends Mapper<LongWritable, Text, Text, VideoInfoWritable> {
@Override
public void map(LongWritable k1, Text v1, Context context) throws IOException, InterruptedException {
String line = v1.toString(); //读取清先之后的每一行数据
String[] fields = line.split("\t"); //通过"\t"对数据进行切割
String id = fields[0]; //获取主播的id
/**
* 获取主播的其他数据
* gold-------->>金币
* watchnumpv-->>播放量
* follower---->>粉丝
* length------>>开播时长
*/
long gold = Long.parseLong(fields[1]);
long watchnumpv = Long.parseLong(fields[2]);
long follower = Long.parseLong(fields[3]);
long length = Long.parseLong(fields[4]);
Text k2 = new Text();
k2.set(id);
// 封装到自定义的VideoInfoWritable类对象中
VideoInfoWritable v2 = new VideoInfoWritable();
v2.set(gold, watchnumpv, follower, length);
context.write(k2, v2);
}
}
（3）Reduce类
该类的作用：遍历具有相同主播id的VideoInfoWritable类对象，获取对应的四个字段值，进行求和
新建一个videoInfoReduce类，继承Reduce类，复写reduce方法
public class VideoInfoReduce extends Reducer<Text,VideoInfoWritable, Text,VideoInfoWritable> {
@Override
protected void reduce(Text k2,Iterable<VideoInfoWritable> v2s,Context context) throws IOException,InterruptedException{
// 从v2s中把相同的k2的value取出来，进行遍历，进行累加求和。
long goldsum=0;
long watchnumpvsum=0;
long followersum=0;
long lengthsum=0;
/**
* v2s：相同主播id的对应对象集合（VideoInfoWritable类对象，有四个属性）
* 遍历具有相同id的对象，获取对应四个字段值，进行求和
*/
for(VideoInfoWritable v2:v2s){
goldsum+=v2.getGold();
watchnumpvsum+=v2.getWatchnumpv();
followersum+=v2.getFollower();
lengthsum+=v2.getLength();
}
// 将求和统计好的封装进来，写入context中，交由Job主类打印输出
Text k3=k2;
VideoInfoWritable v3=new VideoInfoWritable();
v3.set(goldsum,watchnumpvsum,followersum,lengthsum);
context.write(k3,v3);
}
}
（4）主类（入口类）
这个没什么好说的了，运行jar包程序的入口类，对应代码注释我也标上了
public class VideoInfoJob {
public static void main(String[] args) {
try {
// 运行jar包程序指令输入错误，直接退出程序
if (args.length != 2) {
System.exit(100);
}
Configuration conf = new Configuration();//job需要的配置参数
Job job = Job.getInstance(conf);//创建一个job作业
job.setJarByClass(VideoInfoJob.class);//设置入口类
FileInputFormat.setInputPaths(job, new Path(args[0]));//指定输入路径（可以是文件，也可以是目录）
FileOutputFormat.setOutputPath(job, new Path(args[1]));//指定输出路径（只能是指定一个不存在的目录）
// 指定Mapper阶段的相关类
job.setMapperClass(VideoInfoMap.class);
// 指定K2的输出数据类型
job.setMapOutputKeyClass(Text.class);
// 指定v2的输出数据类型
job.setMapOutputValueClass(VideoInfoWritable.class);
// 指定Reduce阶段的相关类
job.setReducerClass(VideoInfoReduce.class);
// 指定K3的输出数据类型
job.setOutputKeyClass(Text.class);
// 指定V3的输出数据类型
job.setOutputValueClass(VideoInfoWritable.class);
//提交作业job
job.waitForCompletion(true);
} catch (Exception e) {
e.printStackTrace();
}
}
}
四、编译打包jar上传
===========
点击右侧的maven，展开Lifecycle，双击clean清理一下，再双击package生成jar包
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip204888 （备注Android）
文末
初级工程师拿到需求会直接开始做，然后做着做着发现有问题了，要么技术实现不了，要么逻辑有问题。
而高级工程师拿到需求会考虑很多，技术的可行性？对现有业务有没有帮助？对现有技术架构的影响？扩展性如何？等等…之后才会再进行设计编码阶段。
而现在随着跨平台开发，混合式开发，前端开发之类的热门，Android开发者需要学习和掌握的技术也在不断的增加。
通过和一些行业里的朋友交流讨论，以及参考现在大厂面试的要求。我们花了差不多一个月时间整理出了这份Android高级工程师需要掌握的所有知识体系。你可以看下掌握了多少。
混合式开发，微信小程序。都是得学会并且熟练的
这些是Android相关技术的内核，还有Java进阶
高级进阶必备的一些技术。像移动开发架构项目实战等
Android前沿技术；包括了组件化，热升级和热修复，以及各种架构跟框架的详细技术体系
以上即是我们整理的Android高级工程师需要掌握的技术体系了。可能很多朋友觉得很多技术自己都会了，只是一些新的技术不清楚而已。应该没什么太大的问题。
而这恰恰是问题所在！为什么别人高级工程师能年限突破30万，而你只有十几万呢？
就因为你只需补充你自己认为需要的，但并不知道企业需要的。这个就特别容易造成差距。因为你的技术体系并不系统，是零碎的，散乱的。那么你凭什么突破30万年薪呢？
我这些话比较直接，可能会戳到一些人的玻璃心，但是我知道肯定会对一些人起到点醒的效果的。而但凡只要有人因为我的这份高级系统大纲以及这些话找到了方向，并且付出行动去提升自我，为了成功变得更加努力。那么我做的这些就都有了意义。
喜欢的话请帮忙转发点赞一下能让更多有需要的人看到吧。谢谢！
jtT-1711938329424)]
Android前沿技术；包括了组件化，热升级和热修复，以及各种架构跟框架的详细技术体系
[外链图片转存中…(img-PeBeF2Cv-1711938329424)]
以上即是我们整理的Android高级工程师需要掌握的技术体系了。可能很多朋友觉得很多技术自己都会了，只是一些新的技术不清楚而已。应该没什么太大的问题。
而这恰恰是问题所在！为什么别人高级工程师能年限突破30万，而你只有十几万呢？
就因为你只需补充你自己认为需要的，但并不知道企业需要的。这个就特别容易造成差距。因为你的技术体系并不系统，是零碎的，散乱的。那么你凭什么突破30万年薪呢？
我这些话比较直接，可能会戳到一些人的玻璃心，但是我知道肯定会对一些人起到点醒的效果的。而但凡只要有人因为我的这份高级系统大纲以及这些话找到了方向，并且付出行动去提升自我，为了成功变得更加努力。那么我做的这些就都有了意义。
1716
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
