hadoop
WYSIWYG-所见即所得
Apache Spark Contributor
欢迎在github上交流https://github.com/codlife
展开
-
Hadoop,Hbase 编程实战基于Hash 的 distinct 操作
题目描述:主要是实现从hadoop hdfs 文件中读取数据,然后进行基于hash 的distinct 操作,然后将数据存到hbase中,具体描述见下图 package homework;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.n原创 2016-04-06 14:37:01 · 2400 阅读 · 0 评论 -
WOT2016卢学裕:小团队如何玩转大数据
大数据能为企业带来什么?更多的订单,更低的成本,更快捷的管理,更新的业务模式。然而在每轮技术变革中,中小企业似乎都是被最后照顾到的。在这场新变革的席卷下,我们不禁又要问小团队,你的大数据在哪里?大数据之所以能称得上一个时代,来自于整个社会的集体狂欢。数据源于各行各业,这场变革带来的机遇自然蕴藏于各行各业之中。紧盯这个市场等待机遇的,无所谓IT巨头或是初创企业,无所谓团队规模是大是小。 大数据能为企转载 2016-04-07 15:18:12 · 845 阅读 · 0 评论 -
Hadoop2.0 源码学习方法
希望通过学习hadoop源码,深刻理解分布式系统设计原理。 hadoop源码学习思路:首先了解各个功能模块,然后选择一个 自己感兴趣的模块开始阅读。 分布式计算(map reduce),存储(hdfs),资源管理(yarn)整体学习思路其实分为三个阶段:应用层面,首先用熟hadoop阅读源码层面,这个是重头戏,选择一个自己感兴趣的模块开始模块,一般来讲client模块比较简单,可以先看 cl原创 2016-06-18 22:41:55 · 505 阅读 · 0 评论