kafka
RayBreslin
大数据开发、设计企业应用
展开
-
kafka消费者报错:Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
一、问题描述环境:kafka_2.11-0.10.2.1Kafka开启生产者和消费者,当生产者发出消息的时候,消费者报错,而之前采用kafka_2.10-0.8.2.1运行该消费者的时候有没有问题:root@hadoop kafka_2.11-0.10.2.1]# bin/kafka-console-consumer.sh --topic dayu --zookeeper hadoop:2...原创 2020-03-01 17:15:36 · 1464 阅读 · 0 评论 -
CDH启动KAFKA的broker报错:Failed to restart service
一、问题描述Cdh的kafka本身有三节点,然后kafka也有三个broker,但是cdh1上的broker无论如何也无法启动,报如下错误:Failed to restart service二、问题原因不知为何,进行探索1.查看日志重启kafka,然后同时查看kafka日志,好像没报错,没发现什么[root@cdh1 ~]# tail -f /var/log/kafk...原创 2020-02-11 21:14:57 · 1533 阅读 · 0 评论 -
kafka(十八):Streaming消费多个topic实例,并分别处理对应消息
一、实现功能Streaming从Kafka中读取消息,而不同topic有可能会有不同的日志结构,需要依据不同的topic结构进行对应的处理。二、环境1.kafka_2.11-0.10.0.1特别提醒:kafka_2.11-0.10.2.1好像有问题,Streaming创建Direct直接连接获取不到信息,一直报错,坑了两天尽量不要用!换了其他版本后kafka_2.11-0.10.0...原创 2019-12-15 16:21:26 · 4026 阅读 · 0 评论 -
kafka(十七):Kafka监控软件KafkaOffsetMonitor和kafka-manager操作实例
一、实现功能本文描述两种监控kafka执行软件KafkaOffsetMonitor和kafka-manager的实现,参考很多大佬的实现方案,和本地有些出入,所以,特地重新重写了一次。参考解决方案,在文末给出。二、本地环境1.Centos62.Kafka0.8.2.13.Kafka准备工作(1)kafka启动启动zk和kafkabin/zkServer.sh st...原创 2019-12-10 09:22:11 · 336 阅读 · 0 评论 -
Streaming kafka 报错:java.lang.ClassCastException: kafka.cluster.BrokerEndPoint cannot be cast to kaf
一、问题描述使用SparkStreaming读取kafka消息,采用Direct的方法读取,然后,在idea中调试时,报错:19/12/08 17:11:31 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 192.168.31.1, 61291, None)Exception in thread ...原创 2019-12-08 17:35:00 · 446 阅读 · 0 评论 -
(转)kafka如何保证数据的顺序消费
【原文链接:https://blog.csdn.net/qq_31329893/article/details/90451889】版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/qq_31329893/article/details/90451889在对kafka的理解中,常常...转载 2019-12-02 17:04:54 · 1037 阅读 · 0 评论 -
flume连接kafka报错 Excessively large list allocation request detected: 1818583411 items! Connection clos
1.问题描述:flume然后sinkTokafka,flume是1.6.0然后kafka是0.8.2.1。flume和kafka自测都没有问题,但是flumeTokafka就会:2018-11-21 01:09:16,119 (lifecycleSupervisor-1-1) [INFO - kafka.utils.Logging$class.info(Logging.scala:68)...原创 2018-11-21 21:08:42 · 2131 阅读 · 0 评论 -
Streaming消费kafka信息ERROR:没有消费消息, WARN ClientUtils$: Fetching topic metadata with correlation id 0 for
1.问题描述kafka自己的consumer可以消费,但是使用Streaming的API消费kafka消息,就没有消费记录,同时控制界面上显示信息:18/11/22 18:07:26 INFO SyncProducer: Connected to localhost:9092 for producing18/11/22 18:07:26 INFO SyncProducer: Disco...原创 2018-11-24 15:04:44 · 1171 阅读 · 1 评论 -
Streaming消费kafka报错:java.lang.NoClassDefFoundError: net/jpountz/util/SafeUtils
1.问题描述Streaming消费kafka消息,报以下错误:18/11/22 18:14:55 ERROR Executor: Exception in task 0.0 in stage 14.0 (TID 9)java.lang.NoClassDefFoundError: net/jpountz/util/SafeUtils at org.apache.spark.io.LZ4...原创 2018-11-24 15:04:35 · 1812 阅读 · 0 评论 -
kafka单机不能发送信息和消费消息(转)
zookeeper和kafaka服务0.8版本以后默认是不需要配置的,但是本文遇到了一种要修改配置的情形。 终端A开启zookeeper和kafaka服务后发送消息bin/kafka-console-producer.sh --broker-list localhost:9092--topic tpc 终端B消费信息 bin/kafka-console-consumer...转载 2018-11-20 06:59:09 · 1176 阅读 · 0 评论 -
flume向kafka中写入日志,报错WARN - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.exceptionCaught(Net
1.问题描述flume从端口44444获得数据,写入kafka中,然后报错,百思不得其解:2018-11-20 07:41:59,917 (New I/O worker #1) [WARN - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.exceptionCaught(NettyServer.java:201)] Unex...原创 2018-11-20 07:57:46 · 2260 阅读 · 0 评论 -
kafka(十五):CDH创建topic
一、实现功能基于CDH平台的kafka创建topic,并且创建消费者和生产者进行测试。二、环境1.Centos7.42.CDH5.15.2三、步骤1.在Kafka配置文件中配置broker在zookeeper中的地址搜索“zookeeper.chroot”修改为“/kafka02”,如下图。即broker信息保存在zookeeper的/kafka02目录下备注,这个必须...原创 2019-08-25 14:13:48 · 2527 阅读 · 0 评论 -
kafka(十六):实现消息队列订阅模式(生产者和消费者)
一、实现功能通过java实现生产者和消费者代码,从而实现kafka消息订阅模式。二、环境1.centos6.42.kafka_2.11-0.8.2.13.zookeeper-3.4.5-cdh5.7.0三、KAFKA在Linux环境上创建topic,并且测试1.启动kafka参考:https://blog.csdn.net/u010886217/article/detai...原创 2019-09-08 20:49:08 · 4934 阅读 · 0 评论 -
(转)springboot、spring-kafka、kafka-client三者的兼容性关系
【转载原因:采用spring-kafka的1.1.1.RELEASE版本pom依赖,本身kafka_2.11-0.8.2.1 不兼容,所以查找二者对应关系。采用kafka_2.11-0.10.1.1即可和1.1.1.RELEASE版本兼容】【原文地址:https://blog.csdn.net/lzx1991610/article/details/100777040】版权声明:本文为博主...转载 2019-10-09 16:48:37 · 4439 阅读 · 0 评论 -
(转)SpringBoot整合SpringKafka实现生产者史上最简代码实现
【转载原因:写的非常详细,尤其版本对应那一块】【原文地址:https://www.cnblogs.com/jun1019/p/7895746.html】项目源码:https://github.com/xuebus/springkafkaproducer这是生产者端的代码,消费者请参考另一篇博客:https://www.cnblogs.com/jun1019/p/7895830.html...转载 2019-10-09 22:20:25 · 197 阅读 · 0 评论 -
SparkStreaming(13):高级数据源kafka Direct方式(生产)
【Direct方式,直接从kafka的broker读取数据,而Receiver方式,从zk获得偏移量信息,性能要差一些!】1.测试环境(1)启动zkbin/zkServer.sh start(2) 启动kafkabin/kafka-server-start.sh -daemon config/server.properties(3) 创建topicbin/kaf...原创 2018-10-11 18:59:37 · 296 阅读 · 0 评论 -
阿里云搭建大数据平台(9):kafka安装部署和测试
一、实现功能Kafka是消息队列的一种实现。A模块发送数据到kafka, B模块从kafka中获取数据。这样可以避免消息过多对处理消息服务器造成过大压力,消息可以先缓存在kafka然后,消费者从kafka中提取数据消费。二、部署和配置1.前提条件(1) 搭建jdk环境 => jdk1.8.x(2)搭建scala环境 => scala2.11.8(3)搭建zooke...原创 2018-11-07 08:23:43 · 1640 阅读 · 0 评论 -
kafka(十四):SparkStreaming和Kafka接口的HA:checkpoints
1.功能实现提供了一种sparkstreaming接收kafka消息的元数据恢复的功能,方便解决一些应用宕机后的重复消费问题,即宕机后重启,sparkstreaming可以从之前消费位置开始消费,而不是从头开始消费。2.代码package _0809kafkaimport kafka.common.TopicAndPartitionimport kafka.message.Me...原创 2018-10-20 09:38:49 · 344 阅读 · 0 评论 -
kafka(一):单节点broker的部署和使用
一、前提准备1.安装zookeeper2.配置zookeepervi conf/zoo.cfg修改存储目录dataDir=/opt/modules/zookeeper3.启动zkbin/zkServer.sh start二、kafka配置和启动1.broker配置 properties文件:$KAFKA_HOME/config/server.pr...原创 2018-10-08 21:03:07 · 1188 阅读 · 2 评论 -
kafka(五):Topic的增删改查操作
1.创建Topicbin/kafka-topics.sh --create --topic beifeng1 --zookeeper bigdata.ibeifeng.com:2181/kafka08 --partitions 5 --replication-factor 2其中:(1)--replication-factor:副本数目默认不超过3,太多影响网络磁盘io性能(副本数...原创 2018-10-17 23:42:20 · 2142 阅读 · 0 评论 -
kafka(四):server.properties关键信息
server.properties的其他关键配置:!!!一、必须配置1.broker.id=0 ##给定broker的id的值,在一个kafka集群中该参数必须唯一 2.port=9092 ##监听的端口号,默认9092,需要保证改端口没有被使用3.host.name=bigdata-01 ##监听的主机名,默认是localhost,需要更改为hostname3.lo...原创 2018-10-17 21:34:25 · 530 阅读 · 0 评论 -
kafka(三):核心概念以及框架
一、核心概念1.Message:数据.传递的数据对象,主要由四部分构成:offset(偏移量)、key、value、timestamp(插入时间)。2.Broker:一般情况一台服务器一个broker,但是可以部署多个,反应到具体的进程就是Kafka进程3.Topic:是Kafka中一组消息的一个整体概念,Produce将消息写入到对应的Topic,Consumer从对应的...原创 2018-10-17 21:22:10 · 282 阅读 · 0 评论 -
SparkStreaming(12):高级数据源kafka Receiver方式(生产)
1.准备环境(1)启动zk bin/zkServer.sh start(2)启动kafka bin/kafka-server-start.sh -daemon config/server.properties(3)创建topicbin/kafka-topics.sh --create --topic kafka_streaming_topic --zo...原创 2018-10-11 18:48:16 · 197 阅读 · 0 评论 -
Flume和Kafka集成错误:Error reading field 'throttle_time_ms'
Flume和Kafka集成错误1.问题描述:flume向kafka写入数据的时候报错:2018-09-15 00:10:08,502 (kafka-producer-network-thread | producer-1) [ERROR - org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:130)]...原创 2018-09-15 00:26:41 · 752 阅读 · 0 评论 -
kafka创建Topic的时候报错:KeeperErrorCode = NoNode for /brokers/ids
1.报错原因:创建命令bin/kafka-topics.sh --create --zookeeper bigdata.ibeifeng.com:2181/kafka02 --replication-factor 1 --partitions 1 --topic hello_topic和server.properties中zookeeper设定的目录不一致zookeeper.c...原创 2018-09-14 07:37:25 · 12308 阅读 · 2 评论 -
flume和kafka合成报错ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleS
0.环境:flume1.6.0和kafka_2.10-0.8.2.11.问题描述:flume和kafka集成,flume输出到kafka:(1)flume配置文件:agent1.sources=avro-sourceagent1.channels=logger-channelagent1.sinks=kafka-sink#define sourceagent1...原创 2018-09-23 21:41:41 · 4692 阅读 · 3 评论 -
kafka(二):单节点多broker的部署和使用,以及监控
一、前提准备工作包括zk安装配置,以及kafka安装配置,请参考:kafka(一):单节点broker的部署和使用二、多broker配置1.配置server.properties,server1.properties,server2.properties三个文件的关键信息:#1.server.propertiesbroker.id=0# The port the socket...原创 2018-10-08 21:18:35 · 1599 阅读 · 0 评论 -
kafka(六):与spark streaming对接,spark streaming接收kafka数据源
1.功能实现spark streaming从kafka接收数据,有两种方式,receiver和direct两种方式。2.pom依赖针对kafka_2.10-0.8.2.1版本(1)kafka依赖<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --><dependency>...原创 2018-10-18 19:41:09 · 765 阅读 · 0 评论 -
kafka(七):消息格式
1.kafka消息格式:(1)一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成(2)header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常,是否丢包,数据不一样CRC32算出来的数字也是不一样的)构成。 当magic的值为1的时候,会在magic和crc32之间多一个字节的数据:att...原创 2018-10-18 21:02:14 · 5419 阅读 · 0 评论 -
kafka(十三):spark ReceiveAPI和DirectAPI从kafka消费数据
一、实现功能Streaming通过两种方式,消费kafka数据。具体实现,参考spark:http://spark.apache.org/docs/2.1.0/streaming-kafka-0-8-integration.html二、环境1.spark2.1.02.kafka0.9.0.03.pom文件 <properties> <scala...原创 2018-10-19 23:36:03 · 506 阅读 · 0 评论 -
kafka 错误:spark streaming使用direct方式读取kafka信息 OffsetOutOfRangeException 异常分析与解决
1.问题描述spark streaming使用direct方式读取kafka信息,但是出现问题:"C:\Program Files\Java\jdk1.8.0_91\bin\java" -Didea.launcher.port=7535 "-Didea.launcher.bin.path=C:\Program Files (x86)\JetBrains\IntelliJ IDEA 201...原创 2018-10-19 23:27:36 · 1357 阅读 · 0 评论 -
kafka(十二):Kafka和flume整合
一、实现功能flume监控一个日志文件,并将数据传送给kafka,然后另外一个flume从kafka获得数据。二、实现步骤1.环境flume1.6.0kafka_2.10-0.8.2.1zookeeper3.4.52.flume监控日志,并且传送给kafka的配置文件test1_1.6.conf【参考:http://archive.cloudera.com/cdh5...原创 2018-10-19 20:40:41 · 663 阅读 · 0 评论 -
SparkStreaming(14):log4j日志-flume-kafka-SparkStreaming的整合
一、功能实现模拟log4j的日志生产,将日志输出到flume服务器。然后,通过flume将日志信息输出到kafka,进而Streaming可以从kafka获得日志,并且进行简单的处理。二、步骤1.目的:使用log4j将日志输按照一定格式输出,并且传递给flume服务器特定端口接收数据。然后使用kafka接收,并使用streaming处理。2.产生log4j日志:(1)在I...原创 2018-10-16 20:36:17 · 337 阅读 · 0 评论 -
kafka(十一):Kafka Java Consumer的实现
1.参考: http://kafka.apache.org/081/documentation.html#consumerconfigs http://kafka.apache.org/081/documentation.html#highlevelconsumerapi http://kafka.apache.org/081/documentation.html#sim...原创 2018-10-19 07:55:16 · 3891 阅读 · 0 评论 -
kafka(十):Kafka Java Producer的实现
1.参考官网: http://kafka.apache.org/082/documentation.html#producerapi http://kafka.apache.org/081/documentation.html#producerconfigs http://kafka.apache.org/081/documentation.html#apidesign...原创 2018-10-19 07:48:29 · 1628 阅读 · 0 评论 -
kafka(九):Kafka为什么快
1. 消息集(message set) 生产者在将消息发送给Kafka的时候,可以将多条消息以前发送,减低IO的次数2. 二进制传输 Kafka的消息传递过程中,会将数据转换为字节数组来进行传递3. 顺序读写磁盘 根据offset递增的顺序读取磁盘,而且每次读取数据是多条数据一起读取的4. "零"拷贝(没有任何数据处理) kafka在传输数据的时候,l...原创 2018-10-18 21:23:06 · 609 阅读 · 0 评论 -
kafka(八):Kafka高可用性
1. Kafka Partition Replication 功能:增加Topic分区的可用性 每个Partition分为leader和follower两部分(前提是replication factor大于1的) eg: Topic: beifeng0 Partition: 0 Leader: 3 Replicas: 3,0,1 Isr:...原创 2018-10-18 21:15:45 · 854 阅读 · 0 评论 -
kafka(三):flume和kafka集成实例
1.环境flume1.6.0+kafka_2.10-0.8.2.1+zookeeper-3.4.52.flume配置(1)flume从bigdata.ibeifeng.com:44444端口接受信息,传送给kafka配置文件:avro-memory-kafka.confavro-memory-kafka.sources = avro-sourceavro-memory-ka...原创 2018-09-17 07:35:07 · 619 阅读 · 0 评论