kafka学习
Pallas_Cat
这个作者很懒,什么都没留下…
展开
-
Kafka2.3.1+zookeeper3.4.14集群模式配置
1.zookeeper配置我的集群共有三台机器,分别叫做ceph10,ceph20,ceph30。在进行zk和Kafka配置前,先确保修改过了它们的hosts文件,通过主机名可以ping通。下载和解压Kafka和zookeeper,把/zookeeper/conf里的zoosample.cfg,重命名为zoo.cfg。在zoo.cfg里改动如下:#zookeeper数据目录,根据自己习惯设置dataDir=/home/ceph-admin/tmp/zkdata#server.X=host:port原创 2020-10-23 15:46:10 · 219 阅读 · 1 评论 -
Java opencv把mat还原成图片
背景:代码的原理是opencv连接摄像头,捕获到帧数据mat(矩阵),将其转成byte数组然后进行base64编码,把数据与帧的其他信息(宽、高、通道数、时间戳)写入到json对象中,Kafka把json对象以字符串是方式发送出去;消费者(接收方)是ceph集群,拿到json对象后从中提取出帧的编码数据,作为对象内容存进去。要播放视频,就要把数据读出来,然后还原。1.遇到的问题及解决思路从ceph读取数据的方法已经掌握了,现在问题是还原。为了运行方便,我在生产者获取数据之后做了一些实验,尝试把帧的数据原创 2020-10-27 10:39:50 · 3512 阅读 · 0 评论 -
Kafka参数调优,解决The request included a message larger than the max message size the server will accept.
背景:我用opencv获取摄像头的rtsp流,捕获到每帧,把帧进行base64编码,然后通过Kafka把编码后的帧发送出去最初Kafka发视频文件和发摄像头的帧是没问题的,生产者可以一直发送,消费者可以一直接收。后来为了模拟不同清晰度的视频流,让视频流代码使用不同清晰度的视频文件发送和存储,于是修改了Kafka一些参数,现在的参数导致生产者连续发送几十帧或者一百多帧时会报错。org.apache.kafka.common.errors.RecordTooLargeException: The req原创 2020-10-27 10:12:39 · 5528 阅读 · 0 评论