mapreduce
文章平均质量分 69
但行益事莫问前程
大数据研发, 开发flink实时流
展开
-
mapreduce作业提交源码解读(创建不同模式下的runner、在工作区间生成切片规划文件和配置文件后提交)
文章目录1.判断作业状态是否为DEFINE后,调用submit方法 1.1 再次确认作业状态,使用新api 1.2 创建连接(不同执行模式,创建不同的runner) 1.3 获取提交器对象 1.4 提交器对象提交作业(生成切片规划文件和配置文件) 1.5 修改状态为RUNNING2.verbose设置为true时,监控和打印job信息提交作业入口 boolean b = job.waitForCompletion(true);1.判断作业状态是否为DEFINE后,调用submit方原创 2022-05-04 10:34:20 · 43365 阅读 · 0 评论 -
MapReduce学习部分——Hadoop序列化
1 序列化概述1.1.什么是序列化1.2.为什么要序列化1.3.为什么不使用java序列化2. 自定义bean对象实现序列化接口(Writable)在企业开发中往往常用的基本序列化类型不能满足所有需求,比如在Hadoop框架内部传递一个bean对象,那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。(1)必须实现Writable接口(2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造public FlowBean() { super();}(3原创 2021-10-06 13:30:02 · 43231 阅读 · 0 评论