qq_39974376的博客

Kafka版本演进Kafka总共发布了7个大版本，分别是0.7.x、0.8.x、0.9.x、0.10.x、0.11.x、1.x及2.x版本。截止目前，最新版本是Kafka 2.4.0，也是最新稳定版本。0.7.x版本这是很老的Kafka版本，它只有基本的消息队列功能，连消息副本机制都没有，不建议使用。0.8.x版本两个重要特性，一个是Kafka 0.8.0增加了副本机制，另一个是Kafka 0.8.2.0引入了新版本Producer API。0.9.x版本Kafka 0.9 是一

重平衡(rebalance)旧版本Kafka依托于Zk进行rebalance，新版本consumer使用了Kafka内置的一个全新的组协调协议。对于每个组而言，Kafka的某个broker会被选举为组协调者(coordinator)。触发条件：1.组成员发生变更。2.组订阅topic数发生变更。比如使用基于正则表达式的订阅，当匹配正则表达式的新topic被创建时则会触发rebalance3.组订阅topic的分区数发生变更。比如使用命令行脚本增加了订阅topic的分区数。分...

在我们Flink Friday Tip的这一集中，我们将逐步说明Apache Flink如何与Apache Kafka协同工作，以确保Kafka主题的记录以一次性保证进行处理。检查点是Apache Flink的内部机制，可以从故障中恢复。检查点是Flink应用程序状态的一致副本，包括输入的读取位置。如果发生故障，Flink将通过从检查点加载应用程序状态并从恢复的读取位置继续恢复应用程序，就像没有发生任何事情一样。您可以将检查点视为保存计算机游戏的当前状态。如果你在游戏中保存了自己的位置后发生了什么事情，

Flink支持多种安装模式。local（本地）——单机模式，一般不使用 standalone——独立模式，Flink自带集群，开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理，生产环境测试Standalone模式步骤1. 解压flink压缩包到指定目录2. 配置flink3. 配置slaves节点4. 分发flink到各个节点5. 启动集群6. 提交WordCount程序测试7. 查看Flink WebUI具体操作1. 上...

Operator 作用 流的转换 map 将一个元素转换成另外一个元素 DataStream → DataStream本 flapmap 将几个的一个元素转换为零个，一个或者多个 DataStream → DataStream filter 保留集合中返回true的元素 DataStream → DataStream keyBy 对数据流进行逻辑分区，相同的key在同一分区 DataStream → KeyedStream re

早在2014年oracle发布了jdk 8,在里面增加了lambda模块。于是java程序员们又多了一种新的编程方式：函数式编程，也就是lambda表达式。我自己用lambda表达式也差不多快4年了，但在工作中却鲜有看到同事使用这种编程方式，即使有些使用了，但感觉好像对其特性也不是很了解。我看了一上网上的资料也不少，自己整理了一下顺便写下一些自己的看法，希望我的分享能带给别人一些帮助。 函数式编程基本概念入门 什么是函数式编程 函数式编程（英语：functional...

1、背景Flink认为有界数据集是无界数据流的一种特例，所以说有界数据集也是一种数据流，事件流也是一种数据流。在国外一些社区，有很多人将大数据的计算引擎分成了4 代，当然也有很多人不会认同。 第1代——Hadoop MapReduce 第2代——DAG框架（Tez） + MapReduce 第3代——Spark 第4代——Flink 2、快速入门Flink 应用程序结构主要包含三部分,Source/Transformation/Sink Sourc.

DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数

第一步：引入依赖首先，我们需要在pom文件中添加依赖：第二步：配置文件这里我们采用yml来进行编写，与properties文件相比，yml看起来更加简洁优雅，这里需要注意的是driver-class-name这个属性我们采用的是com.mysql.cj.jdbc.Driver而非之前的com.mysql.jdbc.Driver，如果采用之前包下的Driver，控制台会打印出一行这样的信息告诉我们去用新的~第三步：指定Map...

一、创建聚合父工程1.首先使用 Spring Initializr 来快速创建好一个Maven工程。然后删除无关的文件，只需保留pom.xml 文件。聚合父工程 然后在 pom.xml 里面声明该父工程包含的子模块。（其它信息就不逐一讲述了，诸如继承SpringBoot官方父工程以及统一依赖管理 请查看下面的注释说明） <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apa.

1、简化构建过程虽然使用 Maven 时偶尔也需要你对底层细节有所了解！但是，Maven 确实屏蔽了很多细节，它已经大大简化了开发人员的工作。2、提供统一的构建系统Maven 使用项目对象模型（POM）和一组所有项目共享的插件来构建项目，从而提供统一的构建系统。开发人员使用 Maven 构建项目的话，后期维护项目会节省大量时间。3、提供优质的项目信息Maven 提供了大量有用的项目信息，这些信息部分来自您的POM，部分来自项目源。例如，Maven可以提供：更改从源代码控制直接创建的日志文档交叉引用的来

在spring boot中，摒弃了spring以往项目中大量繁琐的配置，遵循约定大于配置的原则，通过自身默认配置，极大的降低了项目搭建的复杂度。同样在spring boot中，大量注解的使用，使得代码看起来更加简洁，提高开发的效率。这些注解不光包括spring boot自有，也有一些是继承自spring的。本文中将spring boot项目中常用的一些核心注解归类总结，并结合实际使用的角度来解释其作用。•项目配置注解1、@SpringBootApplication注解查看...

1、简介 注册中心可以用Eureka等技术来实现，但是为了更好的扩展下知识层面，所以这次就使用Zookeeper作为注册中心，搭建一下以Zookeeper作为注册中心的微服务项目。2、win10 下安装 ZooKeeperZooKeeper 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/注意下载版本和spring cloud 的版本要对应。下载后解压目录，拷贝到某个路径下，要在zookeeper下新建...

1 什么是全文索引全文检索：对非结构化数据顺序扫描很慢，我们是否可以进行优化？把我们的非结构化数据想办法弄得有一定结构不就行了吗？将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这种方式就构成了全文检索的基本思路。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。还以读报纸为例，我们想关注英雄联盟 S8 全球总决赛的新闻，假如都是 RNG 的粉丝，如何快速找到 RNG 新闻的报纸和版块呢？全文

1 redis是NOSQL1.1.什么是NOSQLNoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

一分钟告诉你–该用什么数据库产品一、数据库选型的思考1运维成本是否有备份恢复、升级和迁移的成本、社区是否活跃、资料是否丰富；2 稳定性数据库稳定是否可靠、服务高可用方案是否成熟；3 性能包括延迟、QPS 以及是否支持分布式等；4SQL及PLSQLSQL支持是否丰富，存储过程等是否支持。5安全不容易出现 SQL 注入或拖库情况。二、主流数据库方案MySQL，开源关系型磁盘数据库系统，互联网使用较多，应用经验丰富，资料较多，很多分布式MPP底层就是mysql；Postgresql，开源关系型磁盘