![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 96
daybreak98
这个作者很懒,什么都没留下…
展开
-
大数据学习——MapReduce
具体实现bean对象序列化步骤如下。(1)实现Writable接口(2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造(3)重写序列化和反序列化方法,同时要求顺序一致(4)如果需要将自定义的bean放在key中传输,则还需要实现Comparable接口,因为MapReduce框中的Shuffle过程要求对key必须能排序。默认分区通过key的hashCode对ReduceTask个数取模得到。原创 2023-05-17 21:39:54 · 9636 阅读 · 0 评论 -
大数据学习——HDFS
HDFS是一种分布式文件管理系统,适合一次写入,多次读出的场景。原创 2023-04-29 18:42:49 · 1460 阅读 · 2 评论