kafka
JinVijay
这个作者很懒,什么都没留下…
展开
-
Kafka查看存储log的命令
kafka-run-class.sh kafka.tools.DumpLogSegments --print-data-log --files ./00000000000000000286.timeindex原创 2022-04-17 21:00:40 · 1910 阅读 · 0 评论 -
Kafka--Producer参数
三个必选项key.serializer 数据写入key的序列化方式默认值没有参数为 org.apache.kafka.common.serialization.Serializer 接口的实现类String类型可以用org.apache.kafka.common.serialization.StringSerializervalue.serializer 数据写入value的序列化方式默认值没有参数可以为 org.apache.kafka.common.seri原创 2022-02-12 08:58:54 · 846 阅读 · 0 评论 -
kafka参数consumer.properties之auto.offset.reset
auto.offset.reset:可以理解为消费者读取数据的策略earliest:如果没有偏移量的话,从头开始读取数据;有偏移量的话从偏移量开始读latest:如果没有偏移量的话,从消费者启动以后开始读取数据;有偏移量的话会从偏移量开始读;而且没有偏移量的话使用这个参数,虽然没有读取到数据,但是偏移量会记录到原来数据的最后的位置;再使用earliest参数也无法读到数据,因为偏移量已经存在了...原创 2022-02-10 22:38:18 · 1157 阅读 · 0 评论 -
kafka的安装和简单操作
kafka安装步骤1.安装zookeeper2.修改配置文件#server.properties#指定broker的id id必须为唯一的integer类型broker.id=1#数据存储的目录log.dirs=/data/kafka#指定zk地址zookeeper.connect=linux01:2181,linux02:2181,linux03:2181#可以删除topic的数据(生成环境不用配置)#delete.topic.enable=true将配置好的ka原创 2022-02-10 20:36:35 · 1062 阅读 · 0 评论 -
Kafka基本概念
kafka的特点1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3.扩展性: 因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。4.灵活性 &am原创 2022-02-10 19:40:56 · 122 阅读 · 0 评论