![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
hxyerui
这个作者很懒,什么都没留下…
展开
-
大数据架构:flume+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来阅读本文章: 1.一个好的项目架构应该具备什么特点? 2.本项目架构是如何保证数据准确性的? 3转载 2016-04-01 18:02:18 · 994 阅读 · 0 评论 -
Storm中一些重要的概念
Storm中一些重要的概念: Spout(消息源) Bolt(消息处理者) Stream grouping(数据的分发方式) Topology(拓扑) Worker(工作进程) Task(执行具体逻辑的任务) Executor(执行Task的线程) Configuration(配置) 编程模型: 物理模型: worker进程:原创 2016-04-18 14:43:22 · 1149 阅读 · 0 评论 -
Storm实战之WordCount
在storm环境部署完毕,并正确启动之后,现在就可以真正进入storm开发了,按照惯例,以wordcount作为开始。 这个例子很简单,核心组件包括:一个spout,两个bolt,一个Topology。 spout从一个路径读取文件,然后readLine,向bolt发射,一个文件处理完毕后,重命名,以不再重复处理。 第一个bolt将从spout接收到的字符串按空格split,产生word,发转载 2016-04-18 14:51:24 · 398 阅读 · 0 评论 -
redis3.0 在widows环境下集群配置
1. 安装Redis 版本:win-3.0.501 https://github.com/MSOpenTech/redis/releases页面有,我下载的是zip版本的:Redis-x64-3.0.501.zip;最好也下载源代码的zip包。 将redis解压,如解压到d:\opt\redis(压缩包内无文件夹) 2. 安装Ruby http://dl.bint原创 2017-03-24 10:40:47 · 370 阅读 · 0 评论