大数据相关
美丽人生
Be the change you want to see in the world !
展开
-
从Storm和Spark 学习流式实时分布式计算的设计
0. 背景最近我在做流式实时分布式计算系统的架构设计,而正好又要参加CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参考Storm和Spark,因为没有参照效果可能不会太好,尤其是对于Storm和Spark由了解的同学来说,可能通过对比,转载 2015-01-26 14:36:33 · 763 阅读 · 0 评论 -
Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】
(一)hadoop 相关安装部署1、hadoop在windows cygwin下的部署: http://lib.open-open.com/view/1333428291655http://blog.csdn.net/ruby97/article/details/7423088http://blog.csdn.net/savechina/article/detail转载 2015-01-20 16:58:53 · 2829 阅读 · 0 评论 -
海量数据下的分布式存储与计算
亲,转载请保留以下信息@from : http://blog.csdn.net/larrylgq/article/details/7851207@author :吕桂强@email; larry.lv.word@gmail.com存储从理论角度提到大数据存储nosql是不得不提的一个部分,CAP,BASE,ACID这些原理在过去的一些年对其有着转载 2015-01-26 14:08:30 · 578 阅读 · 0 评论 -
大数据实时处理:百分点实时计算架构和算法
当今时代,数据不再昂贵,但从海量数据中获取价值变得昂贵,而要及时获取价值则更加昂贵,这正是大数据实时计算越来越流行的原因。以百分点公司为例,在高峰期每秒钟会有近万HTTP请求发送到百分点服务器上,这些请求包含了用户行为和个性化推荐请求。如何从这些数据中快速挖掘用户兴趣偏好并作出效果不错的推荐呢?这是百分点推荐引擎面临的首要问题。本文将从系统架构和算法两方面全介绍百分点公司在实时计算方面的经验和心得转载 2015-01-26 09:05:23 · 776 阅读 · 0 评论