kafka
Crystalqy
这个作者很懒,什么都没留下…
展开
-
Spring Kafka中关于Kafka的配置参数
SpringKafka文档地址:https://docs.spring.io/spring-kafka/reference/htmlsinglekafka文档地址:http://kafka.apache.org/documentationSpringKafka中配置的Java配置实现类:https://github.com/spring-projects/spring-boot/blob/v1...转载 2019-06-28 17:27:07 · 798 阅读 · 0 评论 -
spring-kafka的线程模型与spring.kafka.listener.concurrency参数
在spring应用中如果需要订阅kafka消息,通常情况下我们不会直接使用kafka-client, 而是使用更方便的一层封装spring-kafka。不过,它可不是简单的封装了kafka-client, 这里面有很多需要注意的问题,比如下面这个参数:spring.kafka.listener.concurrency=31它并不像参数名那样简单,背后挺复杂的。如果你用jstack把线程du...转载 2019-06-28 17:25:22 · 4161 阅读 · 2 评论 -
docker-compose 部署kafka
第一步:安装docker-compose1.从github上下载docker-compose二进制文件安装下载最新版的docker-compose文件$ sudo curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr...原创 2019-06-28 15:25:31 · 5698 阅读 · 0 评论 -
docker 部署kafka集群
在部署kafka集权之前必须要先部署好zookeeper集权,kafka注册在zookeeper集群中,zookeeper集群可参看:docker 安装zookeeper集群涉及到的虚拟主机:192.168.1.104 node1192.168.1.105 node2创建本地目录mkdir -p /docker/kafka/logs创建容器第一个节点上:...原创 2019-06-28 13:23:52 · 894 阅读 · 0 评论 -
docker 安装zookeeper集群
部署环境NodeA:192.168.51.121NodeB:192.168.51.155部署拉取镜像#不指定版本默认拉取latestsudo docker pull zookeeper创建容器#HOST1sudo docker run -d --name=zookeeper1 --net=host zookeeper#HOST2sudo docker...原创 2019-06-27 20:24:35 · 627 阅读 · 0 评论 -
kafka 反序列化异常:org.apache.kafka.common.errors.SerializationException
Spring boot集成kafka时候,能够正常发送消息,但是接受消息时,报错org.apache.kafka.common.errors.SerializationException,提示序列化错误(自定义的消息对象不在kafka信任的包路径下)org.apache.kafka.common.errors.SerializationException: Error deserializ...原创 2019-07-06 09:24:13 · 26293 阅读 · 0 评论 -
Kafka参数详解及调优--生产者
在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。对于很多初学者来说,会看不懂这些参数分别代表什么含义。在本篇文章我们就来详细地了解一下这些参数的作用,并探讨下如何使用合理的配置去优化提高生产/消费效率1.kafka生产者参数Properties props = new Properties();props.pu...转载 2019-07-19 20:55:50 · 1787 阅读 · 1 评论