![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka学习
文章平均质量分 94
青山孤客
网易高级服务端开发工程师,软件设计师,信息系统项目管理师,杭州市E类人才。杭州电子科技大学工学硕士,曾访学圣彼得堡国立信息技术机械与光学大学(ITMO),在国际计算机软件和应用会议(COMPSAC)发表1篇学术论文,目前已申请国家发明专利4项,2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
Kafka原理与基础概要
1、Apache Kafka 是什么?Apach Kafka 是一款分布式流处理框架,用于实时构建流处理应用。它有一个核心 的功能广为人知,即作为企业级的消息引擎被广泛使用。一定要先明确它的流处理框架地位。为什么要使用 kafka,为什么要使用消息队列缓冲和削峰:上游数据时有突发流量,下游可能扛不住,或者下游没有足够多的机器来保证冗余,kafka在中间可以起到一个缓冲的作用,把消息暂存在kafka中,下游服务就可以按照自己的节奏进行慢慢处理。解耦和扩展性:项目开始的时候,并不能确定具体需求。消息队列原创 2021-11-16 15:36:57 · 1246 阅读 · 0 评论 -
Oracle Golden Gate(OGG)学习——目标端安装Big Data
项目需求:要监听Oracle10g的数据库更新操作,将日志信息传输到目标端中的kafka的topic中。这里在目标端之前就已经安装好了Zookeeper与Kafka。然后记录一下安装的目标端的Big Data步骤。1、下载Oracle GoldenGate for Big Data 12.3.2.1.0在 https://edelivery.oracle.com/osdc/faces/SoftwareDelivery 中下载目标端的应用,所以先查看kafka的版本:然后检索 Oracl.原创 2020-05-28 19:02:33 · 1434 阅读 · 2 评论 -
如何启动一个 kafka connector (步骤详解+问题解决)
这里前提条件是已经部署安装了一个kafka连接器。我之前写过一篇关于 kafka-connect-oracle 连接器例子部署的博客:连接器部署 最后编译执行得到了一个jar包,放在指定路径,然后这篇博客总结一下如何启动一个kafka连接器。(这个方法不仅只适用此连连接器)1、启动Zookeeper与Kafka这里需要用到kafka中的topic,所以现在kafka中创建student的主题:kafka常用指令kafka-topics --zookeeper 192.168.129.2...原创 2020-05-21 16:56:58 · 6739 阅读 · 3 评论 -
kafka-connect-oracle 连接器安装部署
由于业务需求,需要从Oracle数据库中获取某表的修改日志信息。这里讲解一下在GitHub中kafka-connect-oracle 连接器的部署。1、GitHub中下载项目kafka-connect-oracle2、添加配置a.数据库必须处于archivelog模式: sqlplus / as sysdba //sqlplus sys/sys as sysdba; SQL>shutdown immediate SQL>startup moun原创 2020-05-18 11:23:57 · 4290 阅读 · 12 评论 -
使用kafka报错log4j:ERROR Could not read configuration file from URL[ ....../connect-log4j.properties]
今天在使用kafka的时候,进行以下指令测试时报了个错误:./lib/kafka/bin/connect-distributed.sh ./etc/kafka/conf.dist/connect-distributed-Oracle.properties ./etc/kafka/conf.dist/OracleSourceConnector.properties[root@cluster2-4 KAFKA-4.1.0-1.4.1.0.p0.4]# ./lib/kafka/bin/connect-原创 2020-05-14 19:32:12 · 4060 阅读 · 1 评论 -
CDH中安装Kafka基本指令总结——topic使用与测试producer产生数据、consumer消费数据
这里主要总结一些我在CDH中安装的kafka测试的一些比较基础的指令。一、相关基础内容Kafka群集中的每个主机都运行一个称为代理的服务器,该服务器存储发送到主题的消息并服务于消费者请求。首先先看服务器安装kafka的实例信息:注意:然后正常kafka的指令是 :./bin/kafka-topics.sh --zookeeper cluster2-4:2181 .......原创 2020-02-22 10:35:14 · 2989 阅读 · 0 评论 -
CDH中重装kafka——清空之前产生的数据(data文件数据与Zookeeper中的数据)
如果在CDH中安装过Kafka后,后面需要重新安装则可以参考此篇博文。一、删除Kafka产生的data重新安装kafka,后面重新分配的kafka一直安装不成功,是因为停用时不会删除已经有点数据。所以需要注意删除 /var/local/kafka/data 下的数据文件,可以看这个路径下的文件:二、删除 Kafka 在 Zookeeper 中产生的主题数据首先先连接 Zook...原创 2020-02-20 21:26:24 · 2621 阅读 · 0 评论 -
深入理解 Kafka Connect:转换器和序列化
AI 前线导读:Kafka Connect 是一个简单但功能强大的工具,可用于 Kafka 和其他系统之间的集成。人们对 Kafka Connect 最常见的误解之一是它的转换器。这篇文章将告诉我们如何正确地使用消息的序列化格式,以及如何在 Kafka Connect 连接器中对其进行标准化。Kafka Connect 是 Apache Kafka 的一部分,为其他数据存储和 Kafka 提供...转载 2020-01-10 11:42:06 · 1318 阅读 · 0 评论 -
CDH中添加的Kafka消息不能同步[爬坑过程+总结解决]
首先通过这篇博客我们可以在CDH中安装好Kafka:CDH添加Kafka服务上面安装好Kafka已经可以创建Topic,并且Topic信息所搭建的集群均可以同步。后面因为还需要测试一下消息传输,发现开启了生产者与消费者后,在生产者发送消息到Topic时报超时,并且消费者也一直没有接受到数据。然后后面一直在解决这个问题到后面一直报异常输出 WARN clients.NetworkClient ,还...原创 2019-12-09 19:45:34 · 2861 阅读 · 0 评论 -
CDH 添加Kafka服务(启动报错问题解决)
这里对CDH中添加kafka服务做一个总结:https://www.cnblogs.com/lenmom/p/9157087.html 下载kafka,并且在CDH中分配激活https://www.jianshu.com/p/bd17e2005284 在CDH集群中添加kafkahttps://blog.csdn.net/weixin_39778085/article...原创 2019-12-02 18:56:16 · 1089 阅读 · 0 评论 -
CDH 中 使用kafka 与 非CDH中使用kafka的区别与注意
================== 非CDH中使用kafka ========================1.kafka 创建 topiccd /root/kafka1.格式:bin/kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 副本数 --par...转载 2019-11-28 15:40:11 · 989 阅读 · 0 评论 -
Kafka的配置文件详细描述
在kafka/config/目录下面有3个配置文件:producer.propertiesconsumer.propertiesserver.properties(1).producer.properties:生产端的配置文件#指定kafka节点列表,用于获取metadata,不必全部指定#需要kafka的服务器地址,来获取每一个topic的分片数等元数据信息。me...原创 2019-11-25 15:49:48 · 477 阅读 · 0 评论 -
CDH中安装kafka,创建Topic报错Replication factor: 1 larger than available brokers: 0.系列问题解决【详细步骤】
接下去需要通过kafka传送数据,刚刚同事在cdh中新建的kafka,我想在里面创建topic。直接上手:kafka-topics --zookeeper localhost:2181 --create -replication-factor 1 --partitions 3 --topic testCDH中使用kafka指令跟kafka文档中说明的指令不一样,具体可以看这篇博文。 ...原创 2019-11-28 11:27:58 · 3541 阅读 · 1 评论