![](https://img-blog.csdnimg.cn/20200423112855147.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
MQ
kafka,RabbitMQ等消息队列的学习笔记
生产队队长
各位IT爱好者,努力学起来!
展开
-
logstash重复消费kafka的问题解决
https://www.jianshu.com/p/6492b762c171 重复消费的原因分析https://www.jianshu.com/p/35e57b10cb33 解决办法转载 2022-05-25 18:33:51 · 927 阅读 · 0 评论 -
logstash对接kafka,推送ES库,根据数据时间生成ES索引
情况:这边对接了kafka,但是,kafka里面数据是乱序的,比如,5月20号,可能里面包含了,17号,18号,19号的数据,而且,队列里数据,是只能向前消费,无法回到之前的offset进行消费。于是,以前按照系统当前时间,创建索引的方式,不能使用了。index => "ods_harmful_%{+YYYY-MM-dd}"修改:注意字段对应关系: mutate{ split => ["message","^"] add_field => {原创 2022-05-20 14:47:10 · 1278 阅读 · 0 评论 -
如何让kafka从 头 或者 尾 消费消息?
首先说明下2个重要的参数:consumer.group.id (消费者组)auto.offset.reset :earliest当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费latest当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据nonetopic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常注意转载 2022-05-13 15:13:30 · 3140 阅读 · 0 评论 -
Logstash 对接 Kafka,在写入ES的时候,报错:Will Retry with exponential backoff {:code=>400
[2022-05-12T15:09:13,065][ERROR][logstash.outputs.elasticsearch][unreasonable_use_kafka][d2128c0736a801fa462a2aea862c6bbf3923c3cce59e00fc70fa6e234d9dac33] Encountered a retryable error. Will Retry with exponential backoff {:code=>400, :url=>"http://原创 2022-05-12 17:31:08 · 1931 阅读 · 0 评论 -
logstash input 接入多个kafka 数据源 实现方式及注意点
logstash 版本:7.12.0conf文件内容如下:input { kafka{ bootstrap_servers =>["1.1.1.1:9092,2.2.2.2:9092,3.3.3.3:9092"] group_id => "a_topic_group" auto_offset_reset => "latest" consumer_threads => 5 decorate_events => true topics => [原创 2022-05-12 09:55:29 · 1742 阅读 · 2 评论 -
logstash对接kafka数据源
https://blog.csdn.net/weixin_39372979/article/details/105551335转载 2022-04-22 16:49:47 · 531 阅读 · 0 评论 -
Windows安装zk和kafka
https://blog.csdn.net/qq877507054/article/details/116355893转载 2022-04-22 14:45:44 · 204 阅读 · 0 评论 -
各种消息中间件的比对
https://blog.csdn.net/wangbo0130/article/details/91865438转载 2021-11-11 09:28:46 · 102 阅读 · 0 评论 -
RabbitMQ持久化设置-Java客户端
https://zhuanlan.zhihu.com/p/118376818转载 2021-11-05 09:34:07 · 463 阅读 · 0 评论 -
Kafka延迟消费实现方法
https://zhuanlan.zhihu.com/p/365802989转载 2021-10-27 17:33:55 · 4252 阅读 · 2 评论 -
Kafka监控平台Kafka-eagle的安装教程
https://blog.csdn.net/qq_19524879/article/details/82848797转载 2021-09-29 11:50:55 · 159 阅读 · 0 评论 -
kafka的顺序消费实现方案
https://www.cnblogs.com/windpoplar/p/10747696.html转载 2021-09-29 09:28:29 · 233 阅读 · 0 评论 -
Kafka启动报错:The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
https://blog.csdn.net/appleyuchi/article/details/111302917注意两点:1、log.dirs配置的路径要正确2、删除这里面的meta.properties文件即可成功启动转载 2021-09-25 16:56:20 · 2819 阅读 · 0 评论 -
搭建rabbitMQ集群
https://blog.csdn.net/huangbaokang/article/details/115067485转载 2021-09-20 16:51:21 · 83 阅读 · 0 评论 -
Centos7环境中卸载RabbitMQ
https://www.cnblogs.com/momo-88/p/13588736.html转载 2021-09-14 17:28:00 · 361 阅读 · 0 评论 -
RabbitMQ Centos7 安装教程
https://blog.csdn.net/qq_43672652/article/details/107349063 推荐https://www.cnblogs.com/fengyumeng/p/11133924.html转载 2021-09-14 15:51:22 · 101 阅读 · 0 评论 -
windows10安装rabbitMQ
https://www.cnblogs.com/saryli/p/9729591.html转载 2021-08-25 22:54:11 · 104 阅读 · 0 评论 -
Docker安装elasticsearch
docker pull elasticsearch:7.13.0docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9200:9200 -p 9300:9300 --name ES01 elasticsearch:7.13.0查看运行状况:docker ps -aCONTAINER ID IMAGE COMMAND CREATED STAT原创 2021-07-04 20:29:32 · 189 阅读 · 3 评论 -
Docker安装rabbitMQ
环境描述:Centos7上已安装Docker工具第一步:下载rabbitMQ镜像命令下载带management的镜像包,它有web页面供测试使用docker pull rabbitmq:3-management查看下载结果:docker images第二步:运行rabbitMQ镜像命令运行,并做端口映射: docker run -d -p 5672:5672 -p 15672:15672 --name myrabbitmq 415614b8c071查看运行结果:docker ps原创 2021-07-04 14:09:29 · 107 阅读 · 0 评论 -
各种消息队列的综合性比较
https://zhuanlan.zhihu.com/p/60288391转载 2020-11-16 14:28:33 · 153 阅读 · 0 评论 -
Zookeeper 分布式环境搭建
安装过程1、下载http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/解压tar -zxvf zookeeper-3.4.14.tar.gz2、关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld....原创 2020-01-15 15:21:28 · 4956 阅读 · 0 评论 -
zookeeper常用的基本命令(下篇)
本篇讲zookeeper的锁常用命令什么是乐观锁:举个例子,因为第一次用version的时候,版本号已经控制了dataVersion的值,他会把dataVersion变为3,然后再继续对version为2操作的时候就会失败,因为这两个是并发的操作,这时就可以保证这个节点的数据的一致性。整个version的操作是原子的。这个是由zookeeper去控制的。set:命令用来设置某个节点的值也可...原创 2020-01-08 13:57:05 · 3370 阅读 · 0 评论 -
zookeeper常用的基本命令(中篇)
本篇讲zookeeper的节点知识永久顺序节点:create -s /abc/bbb/ccc ccc-data,下面创建的都是永久的节点。ccc-data:这个值得类型是byte。写得时候是字符串,但是存储得时候转成byte来存储节点得名称是不能重复的临时节点:create -e /node/temp temp-data:当我主动退出会话的话,会把当前的node节点下的temp节点给...原创 2020-01-07 11:05:31 · 3511 阅读 · 0 评论 -
zookeeper常用的基本命令(上篇)
基本操作命令带sh结尾的就是shell脚本的命令清理的命令:zkCleanup.sh客户端的命令:zkCli.sh环境的配置:zkEnv.sh服务端的配置:ZkServer.sh1、如何去判断zookeeper是真得启动通过status来查出standalone就是单机版得启动2、连接到客户端默认得就是连接到localhost如果连接得zookeeper不在本地,可以这...原创 2020-01-06 11:13:52 · 3436 阅读 · 0 评论 -
MQ的使用场景及市场上各种主流MQ的优缺点比对
https://www.cnblogs.com/qmillet/p/12549698.html转载 2020-05-14 11:12:58 · 692 阅读 · 0 评论 -
activeMQ的业务使用场景
消息队列在大型电子商务类网站,如京东、淘宝、去哪儿等网站有这深入的应用,队列的主要作用是消除高并发访问高峰,加快网站的响应速度。在不使用消息队列的情况下,用户的请求数据直接写入数据库,在高并发的情况下,会对数据库造成巨大的压力,同时也使得系统响应延迟加剧。在使用队列后,用户的请求发给队列后立即返回(当然不能直接给用户提示订单提交成功,京东上提示:您“您提交了订单,请等待系统确认”),再由消息队列的消费者进程从消息队列中获取数据,异步写入数据库。由于消息队列的服务处理速度远快于数据库,因此用户的响应延迟可得到原创 2020-05-14 10:51:09 · 190 阅读 · 0 评论 -
RabbitMQ管理页面详解
https://blog.csdn.net/t610654893/article/details/82982392 (包含图文)https://blog.csdn.net/qq_27409289/article/details/89510687转载 2020-05-15 10:13:36 · 878 阅读 · 0 评论 -
RabbitMQ在Windows10上的安装教程
https://www.cnblogs.com/saryli/p/9729591.html转载 2020-05-15 09:48:22 · 175 阅读 · 0 评论 -
Flink-Kafka 连接器和exactly-once 的一些理解
Flink Source & Sink在 Flink 中,Source 代表从外部获取数据源,Transfromation 代表了对数据进行转换操作,Sink 代表将内部数据写到外部数据源一个 Flink Job 一般由 Source,Transformation,Sink 组成Flink 提供了 Kafka Connector 用于消费/生产 Apache Kafka Topic ...原创 2019-12-16 14:40:53 · 3534 阅读 · 0 评论