HiBoyljw的博客

kafka 文件存储同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是1G，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种特性能够使得老的segment可以被快速清除。默认保留7天的数据。每次满1G后，在写入到一个新的文件中。另外每个partiti

Flink是新一代的流处理计算引擎。通过轻量级的checkpoint，Flink可以在高吞吐量的情况下保证exactly-once(这需要数据源能够提供回溯消费的能力)。Flink支持众多的source(从中读取数据)和sink（向其写入数据），列表如下：Kafka作为目前非常流行的消息中间件，它不仅能够提供极大的吞吐量，还能够配合Flink在消费端达到exactly-once。本文将详细介绍如何配置Flink读取Kafka，运行机制和exactly-once是如何保证的，最后，还会给出监控Flink

1、 offset1.1 offset介绍老版本 Consumer 的位移管理是依托于 Apache ZooKeeper 的，它会自动或手动地将位移数据提交到 ZooKeeper 中保存。当 Consumer 重启后，它能自动从 ZooKeeper 中读取位移数据，从而在上次消费截止的地方继续消费。这种设计使得 Kafka Broker 不需要保存位移数据，减少了 Broker 端需要持有的状态空间，因而有利于实现高伸缩性。新版本 Consumer 的位移管理机制其实也很简单，就是**将 Consum

1 消费者组的基本概念Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。消费者组内必然可以有多个消费者或消费者实例（Consumer Instance），它们共享一个公共的 ID，这个 ID 被称为 Group ID。组内的所有消费者协调在一起来消费订阅主题（Subscribed Topics）的所有分区（Partition）。当然，每个分区只能由同一个消费者组内的一个 Consumer 实例来消费。1、Consumer Group 下可以有一个或多个 Consum

今天为大家带来kafka中的消息压缩知识，内容比较简单，5分钟就能阅读完成。压缩就是用时间去换空间的经典 trade-off 思想，具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较小的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。1 何时压缩在 Kafka 中，压缩可能发生在两个地方：生产者端和 Broker 端。生产者程序中配置 compression.type 参数即表示启用指定类型的压缩算法。比如下面这段程序代码展

1、 分区的概念Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器，而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息。主题下的每条消息只会保存在某一个分区中，而不会在多个分区中被保存多份.对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，我们还可以通

上一篇文章我们说了一些kafka在命令行的时候是如何操作的，详情请看Kafka 深入浅出——Kafka的命令行的管理使用以及参数详解那今天我们讲的这是如何在Java中去实际使用我们的kafka,话不多说，直接上代码。生产者代码开发创建maven工程引入依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> &

在我们的应用开发中，我们时常需要使用缓存技术来进行开发以此来提高我们程序的可用性；而在众多的缓存技术中Redis 是我们经常使用到的技术，那么为什么Redis如此受欢迎呢？首先Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis 与其他 key - value 缓存产品有以下三个特点： 1. Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重...

因为个人原因，已经很长时间没有再写文章了！然后现在因为市面上到处都开始流行微服务的概念，所以在这里想和大家一起来学习一下 spring boot 和spring cloud 写的不好希望大家不要见怪！  废话不多说，我们直接开始进行代码实战吧！搭建spring boot 个人建议使用Idea 这样会非常的方便！第一步：创建项目选择Spring Initializer  Java  JDK 建议选择...

在上篇文章中 Spring boot 学习之路（一）构建第一个Spring Boot我已经介绍了如何使用IDEA 来搭建一个Spring boot 项目，接下来我将介绍一下在Spring boot中我们如何将它与myBatis 结合；我们都知道mybatis 是一个轻量级的持久层框架，它具有非常强大以及灵活的功能！所以我们在我们选择持久层框架的时候，mybatis常常是我们的不二之选...

在前面的文章中我们已经学习了如何去搭建一个Springboot以及如何将mybatis 集成在Springboot中 ，接下来的内容我们将学习如何在Springboot中集成Swagger API 文档工具。 在这个提倡前后端分离的时代，前后端分工合作，界限明确无疑是可以很好的提升工作效率，前端负责页面编写和页面对接，后端负责返回数据以及提供接口文档！ 那在这个时候后端如何来提供接口文档就...