![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
老郑来了
生命不息,折腾不止
展开
-
Kafka消费者
文章目录消费者和消费者组消费者群组的概念分区的分配策略分区再均衡消费者消费数据创建kafka消费者订阅主题获取数据消费者和消费者组消费者群组的概念在生产者生产消息并发送到kakfa的主体上面后,应用程序需要创建一个消费者对象,订阅主题开始接收消息并进行一系列的处理。但是由于网络等原因,当生产者发送消息的速度远远大于消费者消费消息的速度时,该怎么办呢?我们知道,Kafka是支持多个消费者订阅...原创 2019-09-19 13:36:29 · 313 阅读 · 0 评论 -
Kafka生产者
不管是把kafka作为消息队列,消息总线,还是存储平台,总是需要一个可以往Kafka写入数据的生产者和一个可以从Kafka读取数据的的消费者,或者一个兼具两种角色的应用程序消息的发送过程首先创建一个ProducerRecord对象,ProducerRecord包含目标主题Topic,分区partition,键Key,要发送的内容value。在发送ProducerRecord对象时,必须先把...原创 2019-05-12 20:41:11 · 158 阅读 · 0 评论 -
kafka基本概念
kafka是个啥?kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。消息和批次消息消息是kafka里的数据单元,就像数据库一样,可以把消息看成是数据库里一个数据行或者一条记录。消息由字节数组组成,对于kafka来说,消息里的数据没有特别的格式或者含义。消息...原创 2019-04-28 20:39:38 · 165 阅读 · 0 评论 -
批量修改Kafka线上环境的分区副本数
进行分区扩容命令示例./kafka-topics.sh --zookeeper localhost:2181 --alter --partitions 3 --topic test返回示例WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affectedAdding partitions succeeded原创 2020-07-08 11:42:30 · 793 阅读 · 0 评论 -
Flink——容错机制
Flink的容错机制概述Flink容错的核心机制就是持续地创建分布式数据流及其状态的一致性快照,。当系统遇到故障时,比如(机器,网络,软件等),重启所有的算子,回退到checkpoint(检查点),确保程序的每一条记录只会作用准确一次(exactly-once )的语义,也可以选择配置成至少一次(at-least-once )注意: 为了容错机制生效,数据源(例如 queue 或者 brok...原创 2019-12-25 14:50:59 · 693 阅读 · 0 评论 -
Flink——状态管理
什么是状态在流处理中,我们需要处理的数据是源源不断的,那我们面对一下几种情况时该怎么办?从kakfa里面处理数据,但是kafak里的数据有些是重复的,需要在流处理系统里面进行去重,所以需要知道已经有的数据的id,那我们怎么知道呢需要与以前的历史数据进行比较等操作,但是又不想每次都到数据库里面去查(考虑到性能),那我们上哪里去读呢强大的Flink提供了状态管理这么一个东西,可以让我们保存...原创 2019-12-20 11:53:07 · 367 阅读 · 0 评论 -
Flink——时间属性
时间属性Flink中有三种不同的时间概念来处理流数据处理时间(Processing Time ):使用的是机器本身的时间作为标准事件时间(Event Time): 需要处理的流中的数据发生的时间,以数据中带的时间戳为标准摄取时间(Ingestion Time):*事件进入Flink的时间;在内部它的处理类似于事件时间。Flink默认使用的是处理时间,如果想使用其他两个时间,可以在执行...原创 2019-12-05 17:42:58 · 828 阅读 · 0 评论 -
Flink入门
什么是FlinkApache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态的计算。Flink被设计为可以在所有常见的集群环境中运行,以内存速度和任何规模执行计算。https://flink.apache.org/flink-architecture.html什么是有界和无界的数据流无界流有一个起点,但没有定义的终点。它们不会终止并在生成数据时提供数据。无限制的流...原创 2019-11-27 17:55:09 · 152 阅读 · 0 评论