kafka
文章平均质量分 89
野狼e族
忙是一种好事
展开
-
Mysql 实时同步到大数据数仓
如何能够做到数据的实时同步呢?我们想到了MySQL主从复制时使用的binlog日志,它记录了所有的 DDL 和 DML 语句(除了数据查询语句select、show等),以事件形式记录,还包含语句所执行的消耗时间下面来看一下MySQL主从复制的原理,主要有以下几个步骤: master(主库)在每次准备提交事务完成数据更新前,将改变记录到二进制日志(binary log)中 sla...原创 2019-11-15 19:09:04 · 1491 阅读 · 0 评论 -
Kafka 异常错误集
1、启动生产者进程:[root@VM_0_16_centos config]# kafka-console-producer.sh --broker-list hadoop000:9092 --topic testsss[2018-05-08 22:56:08,946] WARN Error while fetching metadata with correlation id 0 : {te...原创 2018-05-24 10:18:07 · 2390 阅读 · 1 评论 -
KafKa Java编程实例
KafKa Java编程实例编写一个能发送消息,接收消息的实例(1)编写系数配置:KafkaProperties.javapackage com.imooc.spark.kafka;/*** Kafka常用配置文件*/public class KafkaProperties { public static final String ZK = "140.143.236.169:2181"; ...原创 2018-05-28 18:04:42 · 1421 阅读 · 0 评论 -
kafKa 安装
kafKa 安装依赖于zookeeper环境,需要安装zookeeper 一、安装zookeeper (1)下载:http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz (2) 解压 zookeeper-3.4.6.tar.gz 到 /www/instl/zookeeper/zookeeper-3....原创 2018-05-28 18:05:24 · 168 阅读 · 0 评论 -
为什么 Kafka 速度那么快?
Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。即使是普通的服务器,Kafka也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得Kafka在日志处理等海量数据场景广泛应用。针对Kafka的基准测试可以参考,Apache Kafka基准测试:每秒写入2百...原创 2019-09-29 14:47:33 · 146 阅读 · 0 评论 -
分组消费的再平衡策略
从kafka消费消息,kafka客户端提供两种模式:分区消费,分组消费。分区消费对应的就是我们的DirectKafkaInputDStream分组消费对应的就是我们的KafkaInputDStream消费者数目跟分区数目的关系:1),一个消费者可以消费一个到全部分区数据2),分组消费,同一个分组内所有消费者消费一份完整的数据,此时一个分区数据只能被一个消费者消费,而一个消费者...转载 2019-09-29 16:57:03 · 438 阅读 · 0 评论