kafka
fct2001140269
大数据架构、地理信息系统
展开
-
将指定的groupid相关kafka的topic中的offset更新到latest的最新位置
将指定的groupid相关kafka的topic中的offset更新到latest的最新位置如果使用java api的方式,将offset更新到特定位置(此处为最新的数据位置),详见下面的代码;package mykafka.gainoffset;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache.kafka.common.TopicPartition;import java.util.ArrayLi原创 2020-10-10 14:46:35 · 856 阅读 · 1 评论 -
shell更新kafka的offset到最新的位置
更新kafka的offset到最新的位置1.进入docker容器,用来执行kafka相关的更新offset的命令;docker ps | grep kafka | awk '{print $1}'2.执行如下命令,用来将执行kafka集群中的groupId的offset更新为最新;/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.19.32.116:9192 --group fang-groupid-105 --res原创 2020-10-10 09:16:29 · 1207 阅读 · 0 评论 -
kafka传递大消息体时的配置
kafka传递大消息体时的配置created by cms/fangchangtan | 2020/09/301.生产端设置//数据太大,发送失败,设置 max.request.sizeprops.put("max.request.size", "300000000");/*socket 在读写数据时用到的TCP 缓冲区也可以设置大小。如果它们被设为-1 ,就使用操作系统的默认值。如果生产者或消费者与broker 处于不同的数据中心内,可以适当增大这些值,因为跨数据中心的网络一般都有比较高的延迟原创 2020-09-30 11:07:21 · 1864 阅读 · 0 评论 -
kafka的相关参数
kafka的相关参数https://www.cnblogs.com/51python/p/10966757.html转载 2020-09-27 19:33:59 · 172 阅读 · 0 评论 -
java批量创建删除Kafka的topic
java批量创建删除Kafka的topic一、前言参考资料:Kafka 0.11客户端集群管理工具AdminClienthttps://blog.csdn.net/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient (新版本kafka)较为新的版本:Kafka 0.11以上版本上测试的,新的API集群管理工具AdminClientpackage zktest.navinfo;import or原创 2020-08-11 14:29:26 · 594 阅读 · 0 评论 -
Kafka保证消息不丢失
Kafka保证消息不丢失kafka保证消息不丢失,需要从三个方面考虑:生产者端消息不丢失kafka服务器broker本身消息不丢失消费者端消息不丢失这篇文章对最新发送kafka数据丢失的情况做一个总结。1.为什么要出这样一个文档首先,部门很多人都kafka的使用不太懂,主要集中才kafka参数的设置使用,比如producer、server下的topic参数、consumer使用,...原创 2020-03-12 22:25:37 · 402 阅读 · 0 评论 -
使用docker搭建kafka-lenses
今天发现一个好东西!一键搭建kafka+zookeeper+kafka监控;kafka-lenses实现一键搭建kafka+zookeeper+kafka监控一、问题背景常规的搭建方法,需要分别搭建kafka服务、zookeeper服务,然后是监控kafka的服务,例如kafka-eagle.kafka-Monitor等监控组件。使用docker搭建kafka-lenses之后,完全都拥...原创 2019-09-24 16:43:31 · 1398 阅读 · 0 评论 -
kafka-flume-kafka模式中存在的问题
kafka-flume-kafka模式中存在的问题flume从kafka读取数据,然后再sink到kafka中,这种场景下会出现问题。(1)现象表示为:flume从kafka读取数据,sink的sinkTopic中没有数据,也无法从sinkTopic中读取数据;(2)原因分析:如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会...原创 2019-06-24 18:18:47 · 929 阅读 · 0 评论 -
OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions
问题描述:OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions运行SparkStreming程序一段时间后,发现产生了异常:19/06/26 03:05:30 ERROR JobScheduler: Error running job streaming j...原创 2019-06-26 17:32:08 · 10829 阅读 · 0 评论 -
Kafka集群搭建 、 搭建kafka-eagle-web
最新领导要求整理kafka的搭建整理文档,特此整理如下:一、Kafka集群搭建1. 安装环境:centos,jdk8,安装好的zookeeper环境,三台相同的机器作为节点2下载、解压kafka,版本是kafka_2.11-1.1.0;生产环境为:/hadoop/测试环境下为:/home/3.修改配置进入kafka的安装目录下,修改配置文件server.properties即可。...原创 2018-12-19 10:46:34 · 1778 阅读 · 2 评论 -
kafka如何彻底删除topic及数据
转载:https://blog.csdn.net/belalds/article/details/80575751前言:删除kafka topic及其数据,严格来说并不是很难的操作。但是,往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景,总结一套删除kafka topic的标准操作...转载 2018-12-13 14:38:10 · 776 阅读 · 0 评论 -
Kafka client 消息接收的三种模式
Kafka client 消息接收的三种模式https://blog.csdn.net/laojiaqi/article/details/79034798转载 2018-12-06 11:12:05 · 992 阅读 · 0 评论 -
kafka集群一键启动与停止shell脚本
kafka集群一键启动与停止shell脚本准备工作:已经配置了主机与ip映射关系,已经配置了免密登录;一、启动Kafka集群的脚本自定义start_kafka_byfang.sh,启动kafka集群中所有节点#!/bin/bashBROKERS="hx2 hx3 hx4 hx5 hx6" APPHOME="/hadoop/kafka_2.11-1.1.0"APP_NAME="...原创 2018-11-27 15:22:45 · 1154 阅读 · 0 评论 -
创建topic时没有设置好正确的replication-factor
参考文章:https://blog.csdn.net/russle/article/details/83421904一、问题描述实际项目中我们可能在创建topic时没有设置好正确的replication-factor,(默认情况为1份),导致kafka集群虽然是高可用的,但是该topic所在的broker宕机时,可能发生无法使用的情况。topic一旦使用又不能轻易删除重建,因此动态增加副本因...原创 2018-11-16 13:41:15 · 9623 阅读 · 0 评论 -
Flink从kafka中消费数据--解析
一、情况介绍:基于scala语言的Flink从kafka中消费数据,然后使用protobuf解析,当然默认是使用string解析的,此处需要指定接收的数据格式package cetc.kakfa2flinkimport java.io.IOExceptionimport java.util.Propertiesimport com.hxy.protobuf.DSFusionimpo...原创 2018-11-14 17:05:35 · 8355 阅读 · 2 评论 -
Kafka遇到的坑-- Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}
1.创建topic中出现出现错误kafka出现:Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE}表示无法识别kafka hostname正确处理姿势1、修改server.properties如下,目的是让kafka监听的到vi /opt/kafka/kafka/config/se...原创 2018-11-15 15:57:00 · 33457 阅读 · 0 评论 -
java Kafka 简单应用实例
转载:https://www.jianshu.com/p/0e378e51b4421、安装zookeeper下载zookeeper-3.4.9.tar;解压tar -zxvf zookeeper-3.4.9.tar;进入zookeeper-3.4.9/conf目录创建zoo.cfg文件,内容如下:tickTime=2000dataDir=/usr/myenv/zookeeper-3...原创 2018-10-21 23:00:08 · 8583 阅读 · 0 评论 -
kafka-eagle搭建中遇到的问题--web无法访问
kafka搭建中遇到的问题一、kafka下载二进制压缩包和搭建具体参考:https://blog.csdn.net/u014532217/article/details/79069841其中细节:使用单台机器搭建kafka时候是否安装mysql问题?二.问题一:./ke.sh start start能够启动,但是无法访问web ui页面的问题1.需要注意添加配置项(system-conf...原创 2018-10-23 13:52:59 · 10472 阅读 · 11 评论 -
rabbitmq转存入Kafka
rabbitmq实时数据转存如kafka中package kafka;import java.io.IOException;import java.util.Properties;import java.util.concurrent.TimeoutException;import org.apache.kafka.clients.producer.KafkaProducer;im...原创 2018-10-28 16:52:29 · 1330 阅读 · 0 评论