kafka
文章平均质量分 69
奔跑的大西吉
这个作者很懒,什么都没留下…
展开
-
kafka 命令行命令大全
kafka 脚本connect-distributed.shconnect-mirror-maker.shconnect-standalone.shkafka-acls.shkafka-broker-api-versions.shkafka-configs.shkafka-console-consumer.shkafka-console-producer.shkafka-consumer-groups.shkafka-consumer-perf-test.shkafka-delegat转载 2021-03-17 10:38:20 · 4722 阅读 · 0 评论 -
kafka 日志相关配置
log4j.properties 文件log4j.properties 是 kafka 操作日志配置文件log4j.properties 文件的一些说明# 日志级别覆盖规则 优先级:ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF# 1.子日志log4j.logger会覆盖主日志log4j.rootLogger,这里设置的是日志输出级别,Threshold设置appender的日志接收级别;# 2.log4j.log原创 2021-03-08 15:13:18 · 9143 阅读 · 0 评论 -
kafka 异常:return ‘<SimpleProducer batch=%s>‘ % self.async ^ SyntaxError: invalid syntax
Python3.X 执行Python编写的生产者和消费者报错,报错信息如下:Traceback (most recent call last):File "mykit_kafka_producer.py", line 9, in <module>from kafka import KafkaProducerFile "/usr/local/lib/python3.7/site-packages/kafka/__init__.py", line 23, in <module>原创 2020-12-22 12:01:13 · 4751 阅读 · 0 评论 -
kafka 异常:ERROR Failed to clean up log for __consumer_offsets-30 in dir /tmp/kafka-logs due to IOExce
问题概述kafka进程不定期挂掉。ERROR Failed to clean up log for __consumer_offsets-30 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel),报错如下[2020-12-07 16:12:36,803] ERROR Failed to clean up log for __consumer_offsets-7 in dir /tmp/kafk.原创 2020-12-08 11:20:56 · 5074 阅读 · 1 评论 -
python-kafka 常用 api 汇总
简介 python连接kafka的标准库,kafka-python和pykafka。kafka-python使用的人多是比较成熟的库,kafka-python并没有zk的支持。pykafka是Samsa的升级版本,使用samsa连接zookeeper,生产者直接连接kafka服务器列表,消费者才用zookeeper。生产者参考API:https://kafka-python.readthedocs.io/en/master/apidoc/KafkaProducer.html#-*-...转载 2020-11-02 18:48:27 · 7610 阅读 · 2 评论 -
kafka 安装
安装 Java 环境在安装 Kafka 之前,先确保Linux 环境上是否有 Java 环境,使用java -version命令查看 Java 版本,推荐使用Jdk 1.8 ,如果没有安装 Java 环境的话,可以按照这篇文章进行安装(https://www.jb51.net/article/169437.htm)安装 Zookeeper 环境Kafka 的底层使用 Zookeeper 储存元数据,确保一致性,所以安装 Kafka 前需要先安装 Zookeeper,Kafka 的发行版自带了..转载 2020-10-29 10:44:26 · 4509 阅读 · 0 评论 -
kafka 入门
初识 Kafka什么是 KafkaKafka 是由Linkedin公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。Kafka 的基本术语消息:Kafka 中的数据单元被称为消息,也被称为记录,可以把它看作数据库表中某一行的记录。 批次:为了提高效率, 消息会分批次写入 Kafka,批次就代指的是一组消息。 主题:消息的种类称为主题(Topic),可以说一个主题代表了一类消息。...转载 2020-10-28 11:35:44 · 4629 阅读 · 0 评论