hadoop
CallMeJiaGu
个人博客:https://www.callmejiagu.com/
展开
-
Zookeeper全解析——Paxos作为灵魂
原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZKServer所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZKServer中对应的实现。先说Paxos,它是一个基于消息传递的一致性算法,LeslieLamport转载 2017-11-07 19:32:40 · 327 阅读 · 0 评论 -
Hive 之 内部表和外部表区别
在使用hive创建表的时候,默认创建的是内部表,那内部表和外部表又有什么区别呢?原创 2017-11-08 16:40:27 · 492 阅读 · 0 评论 -
hadoop 之 Map数据处理(Reduce不参与)
这几天刚刚接触了MR,发现其对大数据的处理是真的强大。不提执行速度,单单简单的API调用也是非常的容易上手。 不过在学习的过程中,遇到一个需求,就是对一堆数据中的学科编号映射成对应的中文。仔细想一想觉得该过程根本不需要用到Reduce的过程,只要在Map执行之前,调用setUp把学科编号和对应中文存储在HashMap中,然后再在Map对每一行的数据进行处理即可。原创 2017-11-10 10:06:38 · 1266 阅读 · 0 评论 -
hadoop 之 文件读取操作
在进行MR的过程前,通常需要在setUp读入一些文件,MR中的文件操作与平时项目中FileInputStream是比较类似的,只不过需要使用FSDataInputStream。原创 2017-11-13 16:17:43 · 4039 阅读 · 0 评论 -
hadoop 之 wordCount流程详解
作为Hadoop的入门程序,我相信大家对wordCount一定不陌生。但是对于刚刚接触Hadoop的人来说,可能很难理解程序运行过程中具体流程是怎么样的。这篇博客我讲讲我对其流程的理解,有错误的地方尽情拍砖。原创 2017-11-04 12:33:38 · 1672 阅读 · 0 评论 -
hadoop 之MR的join操作
在SQL语句中,我相信大家都使用Join操作,但是今天我来谈谈MapReduce中的join操作是如何进行的。先来看一下在join的效果如果对MR熟悉的同学,应该清楚map在把数据处理完之后是会经过shuffle过程的。原创 2017-11-16 10:59:31 · 841 阅读 · 0 评论 -
hadoop 之 MR程序报Type mismatch in value from map错
Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text 上面这个错误刚刚接触MR的朋友们一定不陌生,这是因为你的map输出与reduce的输入匹配不上,但这只是一个原因。我来分享我遇到另一种情况。原创 2017-11-16 19:44:44 · 1420 阅读 · 0 评论