Kafka
姜同学的学习笔记
这个作者很懒,什么都没留下…
展开
-
Flume: ------ File Roll Sink、HDFS Sink、Kafka Sink
File Roll Sink可以将采集的数据写入到本地文件编写example6.properties文本# 声明基本组件 Source Channel Sink example6.propertiesa1.sources = s1a1.sinks = sk1a1.channels = c1# 配置Source组件,从Socket中接收⽂本数据a1.sources.s1.type = netcata1.sources.s1.bind = Centosa1.sources.s1.port原创 2020-05-19 13:50:24 · 1580 阅读 · 3 评论 -
Flume: ------ Avro Source、Exec Source、Taildir Source、Kafka Source等
Source-输⼊源Avro Source创建 example2.properties文本# 声明基本组件 Source Channel Sink example2.propertiesa1.sources = s1a1.sinks = sk1a1.channels = c1# 配置Source组件,从Socket中接收⽂本数据a1.sources.s1.type = avro...原创 2020-05-06 11:16:30 · 320 阅读 · 0 评论 -
kafka: ------ 数据同步机制
Kafka API实战依赖<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients&l...原创 2020-04-15 19:21:11 · 2639 阅读 · 0 评论 -
Kafka: ------ 安装Kafka Eagle 可视化
Kafka-Eagle这是一个监视系统,监视您的kafka群集以及可视的使用者线程,偏移量,所有者等。当您安装Kafka Eagle时,用户可以看到当前的使用者组,对于每个组,他们正在消耗的Topic以及该组在每个主题中的偏移量,滞后,日志大小和位置。这对于了解用户从消息队列消耗的速度以及消息队列增加的速度很有用。下载地址:https://codeload.github.com/smartl...原创 2020-04-14 23:51:41 · 314 阅读 · 0 评论 -
Kafka: ------ Spring Boot整合Kafka 、接受数据、发送数据
- 引入依赖<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.5.RELEASE</version></pa...原创 2020-04-14 22:02:53 · 2806 阅读 · 0 评论 -
Kafka: ------ 事务控制(生产者、中间件从topic02读取、处理后、写入topic01中、消费者)
需要导入的依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version> </dependency...原创 2020-04-14 16:07:50 · 232 阅读 · 0 评论 -
Kafka: ------ 事务控制、消费者隔离级别read_committed与read_uncommitted区别
导入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version> </dependency&...原创 2020-04-14 12:22:19 · 4803 阅读 · 3 评论 -
Kafka: ------ 开启幂等性精准一次写入
幂等性HTTP/1.1中对幂等性的定义是:一次和多次请求某一个资源对于资源本身应该具有同样的结果(网络超时等问题除外)。也就是说,其任意多次执行对资源本身所产生的影响均与一次执行的影响相同。Methods can also have the property of “idempotence” in that (aside from error or expiration issues) th...原创 2020-04-14 11:06:32 · 1785 阅读 · 0 评论 -
Kafka: ------ offset偏移量控制、Acks(0,1,-1)&Retries(01-1传数据安全效率区别)
导入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version> </dependency&...原创 2020-04-13 18:32:25 · 766 阅读 · 0 评论 -
Kafka: ------ 拦截器 发送元数据前提之上可以加上额外需要的消息头
pom文件需要导的依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version> </depen...原创 2020-04-13 12:20:05 · 509 阅读 · 0 评论 -
Kafka: ------ 生产者、消费者、序列化、自定义分区。
Kafka API实战依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version> </d...原创 2020-04-12 22:17:36 · 174 阅读 · 0 评论 -
Kafka: ------ 概念、架构原理(producer、consumer、topic、broker、partition)
Kafkakafka最初是Linkedin公司采用scala语言开发的一个多分区,多副本、并且基于ZooKeeper协调的分布式消息系统,现在是Apache基金会的。目前的定位是分布式流处理平台,它具有高吞吐量,低延迟、可扩展、持久性高、高容错、高并发的特点,被广泛使用。Kafka将消息持久化磁盘当中,并且对详细创建了备份保证了数据的安全特性:高吞吐量、低延迟:每秒可以处理几十万条消息...原创 2020-04-10 23:38:50 · 612 阅读 · 0 评论 -
Kafka: ------ 单机环境搭建、集群搭建
Apache Kafka概述Apache Kafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布的消息队列,一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同,Kafka Streaming计算是运行在应用端,具有简单、入门要求低、部署方便等优点。总体来说Ka...原创 2020-04-10 22:46:48 · 193 阅读 · 0 评论