Mathieu66的博客

Web3j客户端获取区块链数据示例

解析 ETH 区块数据交易input的示例

在控制台从指定时间戳消费kafka

SinkTask 的源码实际位于Kafka项目中，主要用在 Kafka Connect 模块，它是一个接收 Kafka 数据，输出到外部系统的 Task 抽象类。其父类 Task 是个接口，只有三个方法：public interface Task { /** * Get the version of this task. Usually this should be the same as the corresponding {@link Connector} class's ver

1.需求：实时读取Nacos的配置，打印在控制台2.额外的依赖： <dependency> <groupId>com.alibaba.nacos</groupId> <artifactId>nacos-client</artifactId> <version>1.4.2</version> </dependency>代码很简单,就直接贴了packa

1. 需求的由来项目上需要使用达梦数据库，而 Dbeaver 没有提供 达梦的驱动支持（Windows 系统可以用过 ODBC 配置，而Mac 版本 DBeaver不再支持 ODBC），经过一番思考，调研，发现 DBeaver 支持自定义驱动，于是我们可以自定义一个达梦驱动，达到我们的目的。2.连接准备达梦驱动包，我这边是 : dm.jdbc.driver.dm7-7.1.5.jar, 在/Users/wangxianghu/nari/drivers 路径下。3. 配置达梦驱动打开 D.

Hudi回调功能简介及使用示例1. 功能简介从0.6.0版本开始，Hudi开始支持 commit 回调功能。每当Hudi成功提交一次 commit, 其内部的回调服务就会向外部系统发出一条回调信息。用户可以根据该回调信息查询hudi表的增量数据，并根据具体需求进行相应的业务处理。1.1 支持的回调方式当前 HoodieDeltaStreamer 可用过 HTTP（默认） 和 Kafka 两种方式向外部发送回调信息，而 SparkDataSource 只支持 HTTP 一种。两种数据摄入方式在使用回调

原文地址：https://martinfowler.com/bliki/DataLake.html译文如下：Data Lake 是近十年出现的一个术语，用于描述大数据世界中数据根系管道的重要组成部分。其主题思想是为一个组织中任何人可能需要分析的所有原始数据提供一个存储。通常，人们使用Hadoop来处理湖中的数据，但这个概念不局限于Hadoop。当我听到要将要分析的所有数据汇总到一起时，我立即想到了数据仓库（和数据集市）。但是，数据湖和数据仓库之间存在重大区别。数据湖以数据源提供的任何形式存储

使用maven shade 插件打包时报这个错Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes在plugin配置下添加即可解决 <configuration> <filters> <filter>

https://www.cnblogs.com/lemonu/p/12956741.html

https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA

上一篇介绍了使用基础Java客户端接入Apollo的示例,有同学反映在分布式环境下获取不到Apollo配置，只能在main方法中初始化使用,姿势不够优雅。这里将Apollo的Java客户端将Flink官方推荐的ParameterTool结合使用，以解决该问题。package org.example;import com.ctrip.framework.apollo.ConfigFil...

本文介绍如何使用avro序列化，反序列数据。Avro的简介请参阅：https://blog.csdn.net/Mathieu66/article/details/105601509我们知道使用Avro序列化、反序列化数据时需要使用数据的schema（schema是对数据结构的描述）。如何根据schema生成成java类，官网提供了两种方式：1）使用avro提供的工具包手动生成（这与使用Pr...

目录介绍Schema与其他系统的比较本文翻译自：http://avro.apache.org/docs/current/index.html更多信息请查阅：http://avro.apache.org/docs/current/index.html介绍Apache Avro™是一个数据序列化系统:Avro提供：丰富的数据结构。 一种紧凑，快速的二进制数据格式。...

转载自：https://blog.csdn.net/RONE321/article/details/99940862?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1&utm_source=distribute.pc_relevant.none-task-bl...

本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。1. 简介Apache Hudi(简称：Hudi)允许您在现有的hadoop兼容存储之上存储大量数据，同时提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分别是:Update/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录，同时还提供写操作的...

Apollo GitHub地址（除了代码，都是中文）：https://github.com/ctripcorp/apolloJava客户端使用指南：https://github.com/ctripcorp/apollo/wiki/Java%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97 开始之前多说两句，这...

https://www.cnblogs.com/nickchen121/p/11145123.html

原因：秘密过于简单。grep 'temporary password' /var/log/mysqld.log解决办法：降低密码检查策略先用初始密码登录。1. 设置密码的验证强度等级为low。set global validate_password_policy=LOW;2.默认密码长度要求为8，可以修改也可以不改。我这边改成6set global validat...