自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Spark 1.0.0 横空出世 Spark on Yarn 部署(Hadoop 2.4)

就在昨天,北京时间5月30日20点多。Spark 1.0.0终于发布了:Spark 1.0.0 released 根据官网描述,Spark 1.0.0支持SQL编写:Spark SQL Programming Guide 个人觉得这个功能对Hive的市场的影响很小,但对Shark冲击很大,就像wi...

2014-05-31 16:10:40 6501 10

原创 【撸大湿】Storm 分布式BP神经网络(开源)

前言: 这几年我们技术团队利用Hadoop解决了很多大数据计算问题。 但在实时业务方面,MapReduce无法胜任~ -------------------------------------------------------------------------------------...

2014-02-26 13:54:08 5921 2

原创 HBase MapReduce MultiTableInput首次测试

在HBase上跑MapReduce有个很麻烦的问题:多HTable+多Scan作为Map的Input对象。以往都需要开发人员去写TableInputFormat类的重载方法。 HBase 0.94.6版本加入了一个新的Class::MultiTableInputFormatBase。(这里我提醒...

2013-05-28 21:51:07 4684 0

原创 玩转HBase: Coprocessor Endpoint (2):coprocessorProxy和coprocessorExec的合理运用

前言: 相比HBase,关系型数据库有两大问题:动态横向扩展和分布式并行计算。 架设在HDFS上的HBase,在动态横向扩展方面具有先天的优势。 而分布式并行计算则需要MapReduce和Coprocessor-Endpoint来实现。 可是玩过Hadoop的童鞋都了解...

2013-05-12 22:40:08 3725 9

原创 玩转HBase: Coprocessor Endpoint (1):startkey和endkey的真正作用

前言: 早在2004年我注册了CSDN账号,当时我才大三(那时我的昵称叫"华裔大魔王-抗日要从娃娃抓起") 时光飞逝,一晃九年过去了 那时我主要混迹VB和SQL Server版,和大部分初学者一样,我也在论坛上发了许多菜鸟问题 邹老大、子陌红尘还有大乌龟等高手成为了我心...

2013-05-11 20:31:41 6368 2

提示
确定要删除当前文章?
取消 删除