![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 91
zhen24
有梦想的咸鱼
展开
-
监测kafka消费者,钉钉报警并且增加消费者
一. 背景 监测kafka消费者消费消息是否堆积,当达到一定的值,钉钉提示报警. 适当的增加消费者进行消息的消费. 二. 钉钉报警import jsonimport requestsfrom pykafka import KafkaClientservers = ['172.18.10.48:9092']topic_name = 'student_name_logs'class DingMessageManage(object): """钉钉消息提醒预警原创 2020-12-04 18:41:06 · 605 阅读 · 0 评论 -
使用 amazonriver将postgres 数据实时同步 至Kafka (基于PG的逻辑复制功能)
一、简介amazonriver 是一个将postgresql的增、删、改实时同步到es或kafka的服务(基于pg的逻辑复制功能),go语言实现,哈罗单车开源的一个项目。amazonriver 利用pg内部的逻辑复制功能,通过在pg创建逻辑复制槽,接收数据库的逻辑变更,通过解析test_decoding特定格式的消息,得到逻辑数据,与es的通讯是发布订阅的方式,效果要比触发器好的多,并且配置简易.二、安装配置1) 获取项目:https://github.com/Zhenbin2...转载 2020-12-03 09:10:04 · 860 阅读 · 0 评论 -
Kafka处理线上topic信息
需求Kafka获取topic中的消息 判断该消息是否已经处理过(redis中判断),如果处理过,自己跳过,如果没处理请求接口处理消息(请求的接口设置了事务,防止处理异常) 将处理的结果写入日志 将处理过的信息记录到redis中 额外的: 还可以用filebeat监听日志信息文件,然后将消息推送到ES数据库中在kibana可视化展示数据代码# coding=utf-8import datetime, json, time, redis, requests, os, loggingf.原创 2020-08-22 09:59:17 · 643 阅读 · 0 评论 -
Kaka集群生产者消费者使用实例(二)
前景:当kafka中的某一个topic数据量很大的时候就会导致消费者处理数据很慢,那我们可能会想着适当的增加分区(partition)来提高消费者的速度,那么我们创建多个分区的时候,生产者是如何分配生产的消息到分区的尼,让我走进科学世界.一. 创建一个topic同时建立多个分区./kafka-topics.sh --create --zookeeper 172.18.10.48:2181 --replication-factor 1 --partitions 2 --topic kafka_t原创 2020-06-11 20:02:18 · 341 阅读 · 0 评论 -
Kafka集群生产者消费者使用实例(一)
名词解析:broker: 一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。topic: 主题 ,代表一类消息partition:topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。每个partition都对应唯一的消费者!!!offset:每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset原创 2020-05-28 11:39:37 · 679 阅读 · 0 评论 -
Python + Kafka项目实战
一.项目背景:我们另一个系统请求我们本系统经常请求失败,而且这些数据是有问题的数据,所以请求失败的时候调用我们kafka去单独处理这个问题.二.项目准备:系统环境:Ubuntu python 3.5 kafka zookeeper安装zookeeper1.下载地址:http://mirrors.hust.edu.cn/apache/zookeepe...原创 2020-03-03 20:19:15 · 1382 阅读 · 0 评论 -
Zookeeper+Kafka集群部署
主机规划:10.200.3.85 Kafka+ZooKeeper10.200.3.86 Kafka+ZooKeeper10.200.3.87 Kafka+ZooKeeper软件下载地址:#wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.6/apache-zooke...转载 2020-01-04 14:45:43 · 373 阅读 · 2 评论