- 博客(5)
- 资源 (2)
- 收藏
- 关注
原创 Spark 1.0.0 横空出世 Spark on Yarn 部署(Hadoop 2.4)
就在昨天,北京时间5月30日20点多。Spark 1.0.0终于发布了:Spark 1.0.0 released根据官网描述,Spark 1.0.0支持SQL编写:Spark SQL Programming Guide个人觉得这个功能对Hive的市场的影响很小,但对Shark冲击很大,就像win7和winXP的关系,自相残杀嘛? 这么着急的发布1.x 版是商业行为还是货真价实的体现,让我们拭目以待吧~~~~本文是CSDN-撸大湿原创,如要转载请注明出处,谢谢:http://blog.csdn.net
2014-05-31 16:10:40
8252
5
原创 【撸大湿】Storm 分布式BP神经网络(开源)
前言:这几年我们技术团队利用Hadoop解决了很多大数据计算问题。但在实时业务方面,MapReduce无法胜任~----------------------------------------------------------------------------------------------------------------------
2014-02-26 13:54:08
15304
1
原创 HBase MapReduce MultiTableInput首次测试
在HBase上跑MapReduce有个很麻烦的问题:多HTable+多Scan作为Map的Input对象。以往都需要开发人员去写TableInputFormat类的重载方法。HBase 0.94.6版本加入了一个新的Class::MultiTableInputFormatBase。(这里我提醒一下HBase 0.94.6有致命BUG,请用0.94.7)这个方法可以帮助MapReduce开发
2013-05-28 21:51:07
6270
原创 玩转HBase: Coprocessor Endpoint (2):coprocessorProxy和coprocessorExec的合理运用
前言:相比HBase,关系型数据库有两大问题:动态横向扩展和分布式并行计算。架设在HDFS上的HBase,在动态横向扩展方面具有先天的优势。而分布式并行计算则需要MapReduce和Coprocessor-Endpoint来实现。可是玩过Hadoop的童鞋都了解,MapReduce分布式计算框架有一个致命弱点:高延时很多实时的分布式查询和计算业务中,Ma
2013-05-12 22:40:08
4647
3
原创 玩转HBase: Coprocessor Endpoint (1):startkey和endkey的真正作用
前言:早在2004年我注册了CSDN账号,当时我才大三(那时我的昵称叫"华裔大魔王-抗日要从娃娃抓起")时光飞逝,一晃九年过去了那时我主要混迹VB和SQL Server版,和大部分初学者一样,我也在论坛上发了许多菜鸟问题邹老大、子陌红尘还有大乌龟等高手成为了我心中的偶像~~随着时间推移,我从提问者转变成了答题方。我花了三年的时间终于拿到自己的第一颗星星~~两年前,由于工作原
2013-05-11 20:31:41
8384
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人