hadoop
Sweblish
什么都好,就是一个缺点。
展开
-
积累hadoop错误,杂乱啊!
2012-05-29 16:14:13,885 WARN org.apache.hadoop.mapred.JobTracker: Retrying... 2012-05-29 16:14:13,892 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteExcept原创 2012-05-29 16:32:21 · 2305 阅读 · 0 评论 -
基于mapreduce的Hadoop join实现分析(一)
对于一个大数据的分析应用,join是必不可少的一项功能.现在很多构建与hadoop之上的应用,如Hive,PIG等在其内部实现了join程序,可以通过很简单的sql语句或者数据操控脚本完成相应的Join工作.那么join应该如何实现呢?今天我们就对join做一个简单的实现. 我们来看一个例子,现在有两组数据:一组为单位人员信息,如下: 人员ID 人员名称 地址ID 1张三 1转载 2012-10-13 17:46:46 · 985 阅读 · 0 评论