hadoop
RuiClear
这个作者很懒,什么都没留下…
展开
-
Reducer方法动态分组原理
背景:我们自己写的reduce方法要继承Reducer<Text, Text, Text, Text>,自定义的reduce方法中相同key的只会进入一次reduce,通过value迭代value。但是实际上框架并没有一次性把相同的key提前归类到一个组中,而是在程序运行的过程中一个kv对一个kv依次读取的并在顺序读的工程中实现了动态分组的功能,实现原理:调用reduce方法的地方是://org.apache.hadoop.mapreduce.Reducer#runpublic vo原创 2020-07-12 10:08:35 · 455 阅读 · 0 评论 -
基于docker从零手动搭hadoop分布式集群(超详细亲测有效)
一、目的:仓库中现成的hadoop集群镜像都是一键部署,对于刚学习大数据的同学非常不友好,新手还是需要手动自己搭建集群,这样才能更深入的理解和学习hadoop。考虑到虚拟机太浪费资源,网上搜索到的都是一键式搭建集群的镜像,所以无奈之下就只能自己动手基于docker搭建hadoop分布式集群二、步骤(如果不想麻烦可以直接跳到第4步)环境准备本机下载并按照好docker环境拉取docker centos镜像下载liunx版本jdk压缩包,最好是1.8下载hadoop源码然后编译成源文件,也可以原创 2020-06-14 21:56:41 · 1005 阅读 · 2 评论