- 博客(6)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 Storm集成Kafka编程模型
本文主要介绍如何在Storm编程实现与Kafka的集成 一、实现模型 数据流程： 1、Kafka Producter生成topic1主题的消息 2、Storm中有个Topology，包含了KafkaSpout、SenqueceBolt、KafkaBolt三个组件。其中KafkaSpout订阅了topic1主题消息，然后发送 给SenqueceBol...
2016-06-17 14:29:05
621
原创 Flume数据采集各种配置详解
Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 系统功能 日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl...
2016-06-07 16:01:37
19500
原创 Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境
# Flume+Kafka的整合# Flume的fks001.conf的配置文件监控指定目录/usr/local/yting/flume/tdata/tdir1，然后使用自定义的Sink（com.yting.cloud.flume.sink.KafkaSink），将数据传入Kafkaroot@rs229 fks]# pwd/usr/local/adsit/yting/a...
2016-06-07 14:59:12
655
转载 Storm的体系结构介绍以及Storm入门案例
# Storm的体系结构#Storm介绍Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。Storm的主工...
2016-06-07 14:57:28
3489
原创 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)
# Flume的体系结构对java有兴趣的朋友可以加上面说的553175249这个群哦，一起学习，共同进步 .# Flume介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。#...
2016-06-07 14:54:57
2103
原创 Kafka+Storm+HDFS整合实践
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-06-07 14:40:59
301
java OOM后无流量进入
2021-07-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人