- 博客(11)
- 资源 (16)
- 收藏
- 关注
RSS订阅翻译 Spring集成Kafka中的事务
       原文链接：https://docs.spring.io/spring-kafka/reference/htmlsingle/#transactions事务Transactions    &
2018-08-23 10:07:49
4988
翻译 Apache kafka是如何实现消息的精确一次（Exactly-once-semantics）语义的？
       原文链接：https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/ &
2018-08-21 21:19:42
11715
2
原创 修改Kafka topic的replication-factor
集群信息kafka集群有三台broker，id分别为：0，1，2查看topic的replication-factor信息：[root@ali-37 bin]# ./kafka-topics.sh --zookeeper localhost:2182 --describe --topic connect-configsTopic:connect-configs Partitio...
2018-08-16 15:59:03
19484
原创 Debezium for MySQL+Kafka+Confluent Schema Registry环境搭建
       由于公司业务需要，需要把MySQL中的binlog信息发送到kafka上，给相关应用去消费，对数据变化作出响应。        笔者
2018-08-15 17:33:14
5706
4
原创 分布式Kafka HDFS Sink Connector Integrated with Hive配置
{ "name":"dev_hdfs-sink", "config":{ "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector&
2018-08-12 18:09:17
873
翻译 Debezium的MySQL连接器的工作原理
原文参考官网：https://debezium.io/docs/connectors/mysql/#collapse4       本文将深入Debezium的MySQL连接器（一种kafka connector）的工作细节，包括跟踪表结构（structure of t
2018-08-12 15:25:04
9539
1
原创 设置Schema-Registry的配置，以支持Schema变化
笔者用confluent的schema-registry来实现Avro格式kafka消息的发送和接收。 但是当发送的消息中的字段(导致了schema变化了)增加了的时候报错了：Caused by: org.apache.kafka.common.errors.SerializationException: Error registering Avro schema: {"type":"rec...
2018-08-10 17:14:27
13557
4
原创 Spring Boot读取yml配置信息到配置对象
       Spring Boot允许配置外部化，这样同样的代码可以运行在不同的环境中，比如生产环境、测试环境用同一套代码，但是连的数据库信息可以放在应用的外部。可以使用properties文件，ymal文件，环境变量和命令行参数来使得配置外部化。属性值可以通过@Value注入到bean中，或者通过Spring的环境变量拿到配
2018-08-09 20:25:29
12091
1
原创 Spring Boot获取依赖项目中定义的bean
在A项目中定义类了一些bean，并用Spring的@Component注解标识了。在B项目中引用了A项目，即在pom.xml的dependency中添加了项目A。在SpringBoot启动的时候报找不到A项目中的bean。因为SpringBoot的启动Application的默认的ComponentScan的范围中没有包含A项目的bean所在的package路径。 在B项目中增加@C...
2018-08-09 14:07:20
1946
原创 Debezium for MySQL解析binlog报错
运行在Kafka Connect 分布式worker上的debezium for mysql connector报错：{"name":"debezium-mysql-source-dev","connector":{"state":"RUNNING","worker_id":&q
2018-08-07 21:02:10
5661
3
原创 解决Kafka HDFS Sink Connector Integrated with Hive 报错
Kafka Connect 是distributed模式，分别运行在192.168.1.204和192.168.1.100和192.168.1.200这三台机器上，开放了18083端口（因为默认的8083端口被占用了）用于向kafka connect的worker进程提交connector。在用confluent hdfs sink connector把kafka中的数据导入到hdfs并导入到...
2018-08-06 12:33:19
1811
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人