flink/storm
文章平均质量分 95
大数据实时流处理
小强签名设计
真正牛逼的生活是既可以朝九晚五又可以浪迹天涯。
展开
-
Flink CDC 同步 Mysql 数据
Flink CDC 基于数据库日志的技术,实现了全量和增量的一体化读取能力,并借助 Flink 优秀的管道能力和丰富的上下游生态,支持捕获多种数据库的变更,并将这些变更实时同步到下游存储。原创 2024-10-30 20:31:55 · 569 阅读 · 0 评论 -
kafka+storm+hbase整合试验(Wordcount)
kafka+storm+hbase整合:kafka作为分布式消息系统,实时消息系统,有生产者和消费者;storm作为大数据的实时处理系统;hbase是apache hadoop 的数据库,其具有高效的读写性能!这里把kafka生产的数据作为storm的源头spout来消费,经过bolt处理把结果保存到hbase。基础环境:Redhat 5.5 64位(我这里是三台虚拟机h40,h41,h42)my...原创 2017-05-19 16:26:32 · 6998 阅读 · 3 评论 -
flume+kafka+storm+hdfs整合
基础环境:Redhat 5.5 64位(我这里是三台虚拟机h40,h41,h42)myeclipse 8.5jdk1.7.0_25Python-2.7.12zookeeper-3.4.5集群hadoop-2.6.0集群apache-storm-0.9.5集群kafka_2.10-0.8.2.0集群apache-flume-1.6.0-bin(h40主节点装就行)安装hadoop集群请参考:http...原创 2017-05-23 11:55:03 · 3825 阅读 · 0 评论