Mathieu66
码龄8年
关注
提问 私信
  • 博客:107,063
    动态:2
    107,065
    总访问量
  • 42
    原创
  • 365,074
    排名
  • 60
    粉丝
  • 0
    铁粉

个人简介:Apache Hudi Commiter

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:江苏省
  • 加入CSDN时间: 2017-02-13
博客简介:

Mathieu66的博客

查看详细资料
个人成就
  • 获得33次点赞
  • 内容获得37次评论
  • 获得141次收藏
  • 代码片获得294次分享
创作历程
  • 2篇
    2023年
  • 1篇
    2022年
  • 3篇
    2021年
  • 19篇
    2020年
  • 21篇
    2019年
  • 16篇
    2018年
成就勋章
TA的专栏
  • Delta
  • 区块链
    2篇
  • Confluent
    1篇
  • 数据库
    1篇
  • Apache Hudi
    3篇
  • 数据湖
    3篇
  • BigData
    1篇
  • Maven
    2篇
  • Apollo
    2篇
  • Hudi源码学习系列
  • Apache Avro
    2篇
  • JVM
  • Docker
    1篇
  • 算法
    1篇
  • Apache Flink
    19篇
  • Apache HBase
    4篇
  • Mysql
    4篇
  • Apache Spark
    10篇
  • Apache Kafka
    5篇
  • Spark源码学习系列
    6篇
  • Java
  • StreamSets
    2篇
  • Apache Phoenix
    1篇
  • 转载
    5篇
兴趣领域 设置
  • 大数据
    hadoophivesparkflinketl
  • 后端
    架构
创作活动更多

AI大模型如何赋能电商行业,引领变革?

如何使用AI技术实现购物推荐、会员分类、商品定价等方面的创新应用?如何运用AI技术提高电商平台的销售效率和用户体验呢?欢迎分享您的看法

175人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Web3j客户端获取区块链数据示例

Web3j客户端获取区块链数据示例
原创
发布博客 2023.02.04 ·
846 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

解析 ETH 区块数据交易input

解析 ETH 区块数据交易input的示例
原创
发布博客 2023.02.04 ·
971 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

在控制台从指定时间戳消费kafka

在控制台从指定时间戳消费kafka
原创
发布博客 2022.10.18 ·
1849 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Confluent 源码学习 - SinkTask

SinkTask 的源码实际位于Kafka项目中,主要用在 Kafka Connect 模块,它是一个接收 Kafka 数据,输出到外部系统的 Task 抽象类。其父类 Task 是个接口,只有三个方法:public interface Task { /** * Get the version of this task. Usually this should be the same as the corresponding {@link Connector} class's ver
原创
发布博客 2021.09.28 ·
440 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

2021 Building the Unified Data Warehouse and Data Lake.pdf

发布资源 2021.08.26 ·
pdf

Flink 动态读取Nacos配置

1.需求:实时读取Nacos的配置,打印在控制台2.额外的依赖: <dependency> <groupId>com.alibaba.nacos</groupId> <artifactId>nacos-client</artifactId> <version>1.4.2</version> </dependency>代码很简单,就直接贴了packa
原创
发布博客 2021.06.22 ·
1976 阅读 ·
0 点赞 ·
2 评论 ·
14 收藏

MacOS DBeaver连接达梦

1. 需求的由来项目上需要使用达梦数据库,而 Dbeaver 没有提供 达梦的驱动支持(Windows 系统可以用过 ODBC 配置,而Mac 版本 DBeaver不再支持 ODBC),经过一番思考,调研,发现 DBeaver 支持自定义驱动,于是我们可以自定义一个达梦驱动,达到我们的目的。2.连接准备达梦驱动包,我这边是 : dm.jdbc.driver.dm7-7.1.5.jar, 在/Users/wangxianghu/nari/drivers 路径下。3. 配置达梦驱动打开 D.
原创
发布博客 2021.04.25 ·
6843 阅读 ·
5 点赞 ·
5 评论 ·
13 收藏

Hudi回调功能简介及使用示例

Hudi回调功能简介及使用示例1. 功能简介从0.6.0版本开始,Hudi开始支持 commit 回调功能。每当Hudi成功提交一次 commit, 其内部的回调服务就会向外部系统发出一条回调信息。用户可以根据该回调信息查询hudi表的增量数据,并根据具体需求进行相应的业务处理。1.1 支持的回调方式当前 HoodieDeltaStreamer 可用过 HTTP(默认) 和 Kafka 两种方式向外部发送回调信息,而 SparkDataSource 只支持 HTTP 一种。两种数据摄入方式在使用回调
原创
发布博客 2020.12.25 ·
1109 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

DataLake(翻译) - Martin Fowler 2015.02.05

原文地址:https://martinfowler.com/bliki/DataLake.html译文如下:Data Lake 是近十年出现的一个术语,用于描述大数据世界中数据根系管道的重要组成部分。其主题思想是为一个组织中任何人可能需要分析的所有原始数据提供一个存储。通常,人们使用Hadoop来处理湖中的数据,但这个概念不局限于Hadoop。当我听到要将要分析的所有数据汇总到一起时,我立即想到了数据仓库(和数据集市)。但是,数据湖和数据仓库之间存在重大区别。数据湖以数据源提供的任何形式存储
翻译
发布博客 2020.08.18 ·
336 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

maven shade plugin: Invalid signature file digest for Manifest main attributes

使用maven shade 插件打包时报这个错Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes在plugin配置下添加即可解决 <configuration> <filters> <filter>
原创
发布博客 2020.08.14 ·
971 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

yarn聚合日志(转载)

https://www.cnblogs.com/lemonu/p/12956741.html
转载
发布博客 2020.08.06 ·
227 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

生态 | Apache Hudi集成Apache Zeppelin(转载)

https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA
转载
发布博客 2020.04.29 ·
314 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink集成Apollo获取配置V2

上一篇介绍了使用基础Java客户端接入Apollo的示例,有同学反映在分布式环境下获取不到Apollo配置,只能在main方法中初始化使用,姿势不够优雅。这里将Apollo的Java客户端将Flink官方推荐的ParameterTool结合使用,以解决该问题。package org.example;import com.ctrip.framework.apollo.ConfigFil...
原创
发布博客 2020.04.28 ·
1356 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

使用Apache Avro序列化、反序列化数据

本文介绍如何使用avro序列化,反序列数据。Avro的简介请参阅:https://blog.csdn.net/Mathieu66/article/details/105601509我们知道使用Avro序列化、反序列化数据时需要使用数据的schema(schema是对数据结构的描述)。如何根据schema生成成java类,官网提供了两种方式:1)使用avro提供的工具包手动生成(这与使用Pr...
原创
发布博客 2020.04.18 ·
1867 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Apache Avro简介

目录介绍Schema与其他系统的比较本文翻译自:http://avro.apache.org/docs/current/index.html更多信息请查阅:http://avro.apache.org/docs/current/index.html介绍Apache Avro™是一个数据序列化系统:Avro提供:丰富的数据结构。 一种紧凑,快速的二进制数据格式。...
翻译
发布博客 2020.04.18 ·
590 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

HBase建表报错:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

转载自:https://blog.csdn.net/RONE321/article/details/99940862?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1&utm_source=distribute.pc_relevant.none-task-bl...
转载
发布博客 2020.04.14 ·
1379 阅读 ·
2 点赞 ·
1 评论 ·
3 收藏

数据湖 | Apache Hudi 设计与架构最强解读

本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。1. 简介Apache Hudi(简称:Hudi)允许您在现有的hadoop兼容存储之上存储大量数据,同时提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。这两种原语分别是:Update/Delete记录:Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录,同时还提供写操作的...
原创
发布博客 2020.04.14 ·
3058 阅读 ·
2 点赞 ·
1 评论 ·
14 收藏

Flink集成Apollo实现获取配置信息

Apollo GitHub地址(除了代码,都是中文):https://github.com/ctripcorp/apolloJava客户端使用指南:https://github.com/ctripcorp/apollo/wiki/Java%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97 开始之前多说两句,这...
原创
发布博客 2020.04.04 ·
1657 阅读 ·
0 点赞 ·
6 评论 ·
3 收藏

Mac安装MySQL(转载)

https://www.cnblogs.com/nickchen121/p/11145123.html
转载
发布博客 2020.04.04 ·
184 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

原因:秘密过于简单。grep 'temporary password' /var/log/mysqld.log解决办法:降低密码检查策略先用初始密码登录。1. 设置密码的验证强度等级为low。set global validate_password_policy=LOW;2.默认密码长度要求为8,可以修改也可以不改。我这边改成6set global validat...
原创
发布博客 2020.04.03 ·
440 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多