从零开始大数据
rory0114
这个作者很懒,什么都没留下…
展开
-
从零开始大数据【1.1】-- 在本地模式运行第一个mapreduce程序(简单明了!简单理论学习,直接动手写代码!)
从零开始大数据【1.1】-- 在本地模式运行第一个mapreduce程序文章目录从零开始大数据【1.1】-- 在本地模式运行第一个mapreduce程序写在前面:什么是map和reduce?mapreduce编程mapperreducerdriver运行本地模式运行结果下一章介绍写在前面:之前没有接触过linux,没有接触过java,更没有接触过hadoop,spark。但是由于专业相关,决...原创 2019-03-09 11:24:11 · 494 阅读 · 0 评论 -
从零开始大数据【1.4】-- mapreduce中的排序+自定义WritableComparable
从零开始大数据【1.4】-- mapreduce中的排序+自定义WritableComparable文章目录从零开始大数据【1.4】-- mapreduce中的排序+自定义WritableComparable上期回顾:mapreduce中的排序实际案例编写bean对象mapreduce编程mapperreducerdriver运行上期回顾:第二节中,我们定义了一个新的数据类型作为mapred...原创 2019-03-14 20:22:35 · 287 阅读 · 0 评论 -
从零开始大数据【1.5】-- mapreduce中combiner
从零开始大数据【1.5】-- mapreduce中的排序+自定义WritableComparable文章目录从零开始大数据【1.5】-- mapreduce中的排序+自定义WritableComparablecombiner什么是combiner?为什么要用combiner?什么时候不能用combiner?代码combiner什么是combiner?combiner和reducer一样,也...原创 2019-03-20 20:54:21 · 219 阅读 · 0 评论 -
从零开始大数据【1.2】-- 自定义bean对象(数据类型)用于mapreduce task中(简单明了,详细直观)
从零开始大数据【1.2】-- 自定义bean对象(数据类型)用于mapreduce task中文章目录从零开始大数据【1.2】-- 自定义bean对象(数据类型)用于mapreduce task中上期回顾:自定义bean对象注意点实际案例编写bean对象mapreduce编程mapperreducerdriver运行总结上期回顾:上一节中,介绍了最简单的mapreduce框架,编写了map,...原创 2019-03-12 22:24:14 · 676 阅读 · 1 评论 -
从零开始大数据【1.3】-- mapreduce中的分区(设置多个reducer)
从零开始大数据【1.3】-- mapreduce中的分区文章目录从零开始大数据【1.3】-- mapreduce中的分区上期回顾:主要内容真实案例代码编写运行结果总结上期回顾:上一期自定义了mapreduce中kv对可以用的数据类型。并且使用了一个谷歌应用商场数据作为数据集。接下来的案例都会使用这个数据集,在这一节中将学会如何自定义mapreduce过程中的分区。主要内容所谓分区,即re...原创 2019-03-13 19:26:50 · 934 阅读 · 0 评论