![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
文章平均质量分 83
停不下的脚步
这个作者很懒,什么都没留下…
展开
-
实时计算,流数据处理系统简介与简单分析
实时计算,流数据处理系统简介与简单分析一. 实时计算的概念实时计算一般都是针对海量数据进行的,一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。主要应用的场景:1) 数据源是实时的不间断的,要求用户的响应时间也是实时的(比如对于大型网站的流式数据:网站的访问pv/uv、用户访问了什么内容、搜索了什么内容等,实时的数据计算和分析可以动态实时地刷新用户访问数原创 2014-03-09 01:38:36 · 5912 阅读 · 1 评论 -
flume+kafka+storm+mysql架构设计
架构图实时日志分析系统架构简介系统主要分为四部分: 1).数据采集负责从各节点上实时采集数据,选用cloudera的flume来实现2).数据接入由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用apache的kafka3).流式计算原创 2014-03-09 00:55:35 · 15765 阅读 · 234 评论 -
新版flume+kafka+storm安装部署
去年写了篇flume+kafka+storm的文章,最近重新回顾发现改动挺大的,就重新整理这篇文章。希望能帮上大家。架构图、组件介绍就不重复了,这篇文章重点将如何安装部署。需要源码的请留言。顺便打个广告:大数据工作室接活我们的团队leader是北京某金融公司的大数据负责人,带过hadoop spark impala storm等多个银行项目。团队成员现就职HP,vmware等企业。原创 2015-08-27 16:43:43 · 4986 阅读 · 58 评论