Kafka
文章平均质量分 92
Flume、Kafka
小基基o_O
GitHub:https://github.com/AryeYellow
码云:https://gitee.com/arye
展开
-
Canal或maxwell实时采集MySQL数据到Kafka
文章目录MySQL的binlog开启binlogCanalMySQL的binlog二进制日志以事件形式记录了所有的DDL和DML,还包含语句所执行的消耗的时间MySQL的binlog是事务安全型的开启binlog会有1%左右的性能损耗一般使用场景:1、主从MySQL数据传递 以实现 数据一致性2、数据恢复MySQL的binlog1、编辑MySQL配置2、重启MySQL3、检测配置是否成功Canal原创 2022-01-10 09:40:09 · 1381 阅读 · 0 评论 -
大数据(4h)Kafka经验小结(不定更)
文章目录Kafka数据维持时间Kafka副本数策略Kafka主题数设定Kafka分区数设定Kafka挂了咋办?Kafka数据积压内存优化主题策略、分区策略Kafka数据维持时间建议3天Kafka副本数策略建议2Kafka主题数设定一个类型的日志建立一个分区Kafka分区数设定创建单分区主题测试该主题的生产者吞吐量和消费者吞吐量(使用内置脚本)分区数=吞吐量预期/min(吞吐量生产者,吞吐量消费者)分区数=吞吐量_{预期}/min(吞吐量_{生产者},吞吐量_{消费者})分区数=吞吐量预原创 2021-08-26 23:08:11 · 217 阅读 · 0 评论 -
图解Flume对接Kafka(附中文注释)
Kafkaflume拦截器hdfs时间戳毫秒数原创 2021-05-11 15:17:48 · 3959 阅读 · 8 评论 -
大数据(4f)图解Kafka生产者和消费者API
Kafka生产者消费者JavaPythonAPIkafka-pythonJava操作kafkaPython操作kafkaKafka客户端消费者偏移量指定分区消费原创 2021-05-07 14:34:40 · 615 阅读 · 6 评论 -
大数据(4d)Kafka安装和基本命令
Kafka简介消息队列分布式的基于发布/订阅模式主用于大数据实时处理领域Linux环境准备Kafka安装解压配置文件分发集群启停群起脚本Kafka命令创建主题查看主题列表查看某主题详情生产消费删除主题...原创 2021-01-16 17:36:52 · 450 阅读 · 0 评论 -
大数据(4c)Kafka理论知识
帅气的目录1、基础理论1.1、什么是消息队列1.2、消息队列的两种模式1.3、高可用原理2、Kafka概述3、1、基础理论1.1、什么是消息队列Message Queue消息的传输过程中保存消息的容器应用场景:程序解耦、异步消息、流量削锋…1.2、消息队列的两种模式点对点模式(消费者主动拉取数据,拉取成功后删除队列上的数据)一个消息 只能有一个消费者可以消费发布/订阅模式(消费者消费数据之后,队列上的数据不会被清除)1.3、高可用原理High Availability原创 2021-04-29 21:35:34 · 1357 阅读 · 6 评论 -
大数据(4b)Flume经验
大数据flumeKafkahdfs压缩拦截器优化滚动小文件原创 2021-08-12 20:42:44 · 310 阅读 · 0 评论 -
大数据(4a)Flume原理、安装、使用
Flume简介海量日志 采集、聚合、传输 的系统基于流式架构入门功能:实时监控单个追加文件、目录下多个新文件、目录下的多个追加文件flume对接hdfsflume对接Kafka原创 2021-01-19 14:29:11 · 577 阅读 · 1 评论 -
Python3模块pika连接RabbitMQ消息队列(代码自用)
消息队列(Message Queue):在消息的传输过程中保存消息的容器RabbitMQ:实现了高级消息队列协议(AMQP)的开源消息代理软件Python连接RabbitMQpika安装生产者消费者封装自用原创 2020-10-24 21:22:29 · 2120 阅读 · 1 评论