既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
4.2 编写代码
VideoCount.java 代码如下:
package com.zout;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import java.io.IOException;
/\*\*
\*
\* @author zoutao
\* @time 2018/7/3
\* @see 分析Youtube视频数据
\*
\*/
public class VideoCount {
//主函数
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
@SuppressWarnings("deprecation")
Job job = new Job(conf, "categories");
//指定导出的jar包路径
job.setJar("/home/gznc/myjar/VideoCount.jar");
//设置生产 jar 包所使用的类
job.setJarByClass(VideoCount.class);
//设置 Map 类的输入输出类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//设置 Reduce 类的输入输出类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//设置 Map, Reduce 类的 class 参数
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
//指定格式化用的类型
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
//指定要分析的数据文件路径--0.txt
FileInputFormat.addInputPath(job,
new Path("hdfs://master:9000/inputVideo/0.txt"));
//指定输出的文件路径--out2文件夹下
FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/out2/"));
//完成任务以后的提示信息
boolean flag = job.waitForCompletion(true);
System.out.println("任务完成"+flag);
System.exit(flag?0:1);
System.out.println();
}
//Map类,封装KV键值对 <k1,v1,k2,v2> , k1 是偏移量,v1 是这行数据
public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
//构造文本类Text对象、IntWritable 对象,也可以直接以匿名函数的方式创建
private Text tx = new Text();
//map 的逻辑,使用tab“\ t”分隔符来分割行,并将值存储在String Array中,以使一行中的所有列都存储在字符串数组中
public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
//拿到每一行数据
String line = value.toString();
String[] str = line.split("\t");
//过滤掉多余的字段
if (str.length > 5) {
tx.set(str[3]);
}
//输出key,value
context.write(tx, one);
}
}
//编写 reduce,接收 map 阶段传来的 kv 键值对,输出的类型和传进来的类型一致
public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
//reduce????
public void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
int sum = 0;
//累加求类别的视频数量
for (IntWritable v : values) {
sum += v.get();
}
//写入文本文件中输出
context.write(key, new IntWritable(sum));
}
}
}
4.3 导出jar包
编码完成以后,我们可以需要导出jar包。
注意:
- 在eclipse里面就可以运行MR代码,可以不用导出jar包。
- 为什么要导出jar包?jar包导出以后,可以以生成 jar 包的形式提交 hadoop yarn 上来运行MR程序,得到数据分析的结果。这样跟在eclipse中运行是一样的。只不过是方式不同。方便一些专门搞linux系统的朋友使用。
- 如果你是在 Windows 平台写的MR代码,则可以用通过生成 jar 包的方式提交到其他系统的hadoop环境下去运行。
导出jar操作如下:
eclipse中选中项目右键 ,在弹出的菜单中选择 Export
上面的路径需要自己定义成自己的,而且需要跟MR代码里面保持一致。
4.4 开启hadoop集群,上传数据文件
a. 终端下输入start-all.sh,开启hadoop集群环境,输入jps查看进程如下:
b. 数据上传到HDFS文件系统下:
在终端中输入以下命令,将 0.txt 上传到 HDFS 文件系统。
方式一:采用hadoop命令完成上传:
终端下输入:
hadoop fs -mkdir /inputVideo //创建一个文件夹
hadoop fs -put /home/gznc/0.txt /inputVideo //0.txt上传到文件夹下
方式二:采用eclipse插件完成上传:这个需要自己先去搭建hadoopEclipse插件,出现管理DFS的页面选项才可以。
打开eclipse里面的DFS管理,然后右键选择创建文件夹和上传文件即可,如果出现无法上传或者是删除不了文件夹的情况,请参考:eclipse可以连接显示hdfs文件,但运行程序时却提示拒绝连接
完成以后的图示:
好了,现在已经完成了编写MR程序代码,导出了jar包,上传了0.txt数据。接下来就可以运行代码了。
4.5 运行hadoop数据分析程序
也是可以分为两种方式来运行。
方式一:在eclipse的本程序代码中,直接右键Run AS >> Run on Hadoop ,然后等待任务完成,完成以后打开DFS即可查看:
结果:
方式二:
终端下提交jar包来运行程序:
按照如下方式来写对应代码,回车即可。
hadoop jar 生成的jar包路径 全类名 输入路径input 输出路径output
如下:
![img](https://img-blog.csdnimg.cn/img_convert/d95f4236a35910b4ba711e63ba2971ef.png)
![img](https://img-blog.csdnimg.cn/img_convert/2b34d95836baa2d337ed16e9f07ea16a.png)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**