2017年11月_CallMeJiaGu

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 hadoop 之 MR程序报Type mismatch in value from map错

Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text 上面这个错误刚刚接触MR的朋友们一定不陌生，这是因为你的map输出与reduce的输入匹配不上，但这只是一个原因。我来分享我遇到另一种情况。

2017-11-16 19:44:44 1420

原创 hadoop 之MR的join操作

在SQL语句中，我相信大家都使用Join操作，但是今天我来谈谈MapReduce中的join操作是如何进行的。先来看一下在join的效果如果对MR熟悉的同学，应该清楚map在把数据处理完之后是会经过shuffle过程的。

2017-11-16 10:59:31 841

原创 hadoop 之文件读取操作

在进行MR的过程前，通常需要在setUp读入一些文件，MR中的文件操作与平时项目中FileInputStream是比较类似的，只不过需要使用FSDataInputStream。

2017-11-13 16:17:43 4039

原创 hadoop 之 Map数据处理（Reduce不参与）

这几天刚刚接触了MR，发现其对大数据的处理是真的强大。不提执行速度，单单简单的API调用也是非常的容易上手。不过在学习的过程中，遇到一个需求，就是对一堆数据中的学科编号映射成对应的中文。仔细想一想觉得该过程根本不需要用到Reduce的过程，只要在Map执行之前，调用setUp把学科编号和对应中文存储在HashMap中，然后再在Map对每一行的数据进行处理即可。

2017-11-10 10:06:38 1266

原创 Hive 之内部表和外部表区别

在使用hive创建表的时候，默认创建的是内部表，那内部表和外部表又有什么区别呢？

2017-11-08 16:40:27 493

转载 Zookeeper全解析——Paxos作为灵魂

原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZKServer所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZKServer中对应的实现。先说Paxos，它是一个基于消息传递的一致性算法，LeslieLamport

2017-11-07 19:32:40 327