--------相关项目
zhi_fu
这个作者很懒,什么都没留下…
展开
-
Kafka+Storm+HBase项目Demo(2)--Kafka环境搭建
下面安装Kafka Kafka是LinkedIn开源出来的一个高吞吐的分布式消息系统。使用scala开发,支持多语言客户端(c++、java、python等) Broker:消息中间件处理结点,一个kafka节点就是一个broker Producer:消息发布者Consumer:消息订阅者搭建步骤 1. Kafka下载: wget https://archive.apache.org原创 2017-07-15 16:01:49 · 625 阅读 · 0 评论 -
Kafka+Storm+HBase项目Demo(1)--CDH搭建hadoop集群
这是一个类似淘宝双11大屏幕的Demo项目 。kafka+storm+hbase整合:kafka作为分布式消息系统,实时消息系统,有生产者和消费者;storm作为大数据的实时处理系统;hbase是apache hadoop 的数据库,其具有高效的读写性能。Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(原创 2017-07-14 22:11:36 · 2288 阅读 · 1 评论 -
Kafka+Storm+HBase项目Demo(3)--Storm安装配置
Storm安装配置 Storm集群也依赖Zookeeper集群,要保证Zookeeper集群正常运行。Storm的安装配置比较简单,我们仍然使用下面3台机器搭建:192.168.1.101 cdh1192.168.1.102 cdh2192.168.1.103 cdh3首先,在cdh1节点上,执行如下命令安装:cd /usr/local/wget http://mirror.bi原创 2017-07-16 17:31:37 · 418 阅读 · 0 评论 -
Kafka+Storm+HBase项目Demo(6)--前端HTTP长连接实现
项目的思路 事务:运用IPartitionedTridentSpout DRPC:Web端通过DRPC获得结果数据 topN:按销售额排行 基于Hbase存储的Trident state:支持Topo重启时不丢数据,也可支撑Web端读数据 数据获得实现 通过开源Storm-kafka项目提供 采用Storm-kafka 项目中提供的TransactionalTridentKafkaSp原创 2017-07-17 21:42:56 · 781 阅读 · 0 评论 -
Kafka+Storm+HBase项目Demo(7)--Trident使用
本文内容部分来自Trident Tutorial。Trident是基于Storm的实时计算模型的高级抽象。它可以实现高吞吐(每秒数百万条消息)的有状态流处理和低延迟分布式查询。如果以前使用过高级批处理工具(比如Pig或Cascading),则对Trident的概念会非常熟悉,比如连接、聚合、分组、功能处理和过滤等。除此之外,Trident还增加了用于在数据库或持久化存储上进行有状态的增量处理的原语。原创 2017-07-18 20:50:17 · 1033 阅读 · 0 评论 -
Kafka+Storm+HBase项目Demo(5)--topology,spout,bolt使用
相关概念 1、Topologies 一个topology是spouts和bolts组成的图, 通过stream groupings将图中的spouts和bolts连接起来。2、Streams 消息流stream是storm里的关键抽象。一个消息流是一个没有边界的tuple序列, 而这些tuple序列会以一种分布式的方式并行地创建和处理。通过对stream中tuple序列中每个字段命名来定义st原创 2017-09-10 16:05:30 · 947 阅读 · 0 评论 -
Kafka+Storm+HBase项目Demo(4)--Kafka使用
第一个需求是按地区实时计算销售额,并进行3D柱图实时展示结果,含周同比。图表的数据3s自动更新。 期望效果 项目的架构:原创 2017-09-09 19:38:10 · 1242 阅读 · 0 评论