- 博客(3)
- 收藏
- 关注
RSS订阅原创 Kafka API应用（Producer API，Consumer API，java代码，scala代码，消息发送流程，消息消费流程）（二）
Kafka API应用一.kafka常用API1.Producer API（1）消息发送的Java代码（2）消息发送的Scala代码（3）消息发送流程2.Consumer API（1）消息消费的Java代码（2）消息消费Scala代码（3）消息消费流程（4）偏移量1）自动提交Automatic Commit2）手动提交偏移量一.kafka常用APIkafka包括常用API包括：Producer API（Kafka Java Clients）：允许应用程序将记录流发布到一个或多个Kafka主题
2021-02-18 15:56:54
580
原创 Kafka（基本术语，分区策略，副本策略，存储策略，ZooKeeper作用，副本同步，容灾，高吞吐原因，负载均衡）（一）
Kafka一.Kafka基础1.Kafka核心概念（1）术语解释（2）分区策略（3）副本策略（4）存储策略2.ZooKeeper与Kafka（1）Broker注册并监控状态（2）Topic注册（3）生产者负载均衡（4）offset维护3.副本同步4.容灾5.高吞吐（1）顺序读写（2）零拷贝（3）分区（4）批量发送（5）数据压缩（6）Consumer的负载均衡6.负载均衡一.Kafka基础1.Kafka核心概念（1）术语解释Kafka集群由不同的Broker节点组成，每个Broker都有唯一的id（如
2021-02-05 17:17:44
745
原创 Flume（简介，特点，架构，原理，组件，工作流程，拦截器，flume可靠性）
25.Flume一.Flume简介1.Flume是什么？Apache Flume是一个分布式的，可靠性的，可用的数据收集系统，它可以有效地收集，聚合和移动大量的日志数据，这些数据可以从许多不同的来源转移到一个集中的数据存储中。Apache Flume不仅仅限于日志数据集合。由于数据源是可定制的，所有Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。2.Flume特点（1）可靠性Flume的核心是把**数据从数据源收集过来，再送
2021-02-03 15:47:58
3108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人