paimon流式数据湖平台

已于 2023-11-25 04:20:44 修改
阅读量647 收藏 3
点赞数
分类专栏： 大数据 文章标签： 大数据
于 2023-11-23 22:06:17 首次发布
原文链接：https://mp.csdn.net/mp_blog/creation/success/134587355
版权

192.168.10.102=hadoop102
192.168.10.103=hadoop103
192.168.10.104=hadoop104

Paimon是一个流数据湖平台，具有高速数据摄取，变更日志跟踪和高效的实时分析的能力
支持数据库变更日志(cdc)的流式同步或来自离线数据的批量插入和修改

低成本 高可靠性 可扩展的元数据服务

安装部署

提前安装好hive

hive3.x入门-CSDN博客

提前安装好flink集群

flink1.17入门-CSDN博客
提前安装好hadoop集群

hadoop3入门(1)-CSDN博客t

提前安装好spark

spark入门（1）-CSDN博客 

下载paimon的jar包

https://repository.apache.org/content/groups/snapshots/org/apache/paimon/paimon-flink-1.17/0.5-SNAPSHOT/paimon-flink-1.17-0.5-20230906.001916-146.jar

3台机器都配置


把paimon的jar包,上传到自己的flink的lib目录

cd /opt/module/flink-1.17.1/lib

修改配置


cd /opt/module/flink-1.17.1/conf
vi flink-conf.yaml

#解决中文乱码,1.17之前参数是env.java.opts
env.java.opts.all: -Dfile.encoding=UTF-8
classloader.check-leaked-classloader: false
taskmanager.numberOfTaskSlots: 4

execution.checkpointing.interval: 10s
state.backend: rocksdb
state.checkpoints.dir: hdfs://hadoop102:8020/ckps
state.backend.incremental: true

进入hadoop的目录把jar包拷贝到flink中 

cd /opt/module/hadoop-3.3.6/share/hadoop/mapreduce
cp hadoop-mapreduce-client-core-3.3.6.jar /opt/module/flink-1.17.1/lib/

在102启动flink yarn session 

cd /opt/module/flink-1.17.1/bin
./yarn-session.sh -d

启动之后会在3台机器上 随机选择一台显示YarnSessionClusterEntrypoint进程 

在102启动flink的sql客户端 

./sql-client.sh -s yarn-session

设置显示模式 

SET 'sql-client.execution.result-mode' = 'tableau';

查看yarn控制台 

http://hadoop103:8088/cluster

 点击详细

进入flink控制台 

catalog

Paimon catalog可以持久化元数据
文件系统默认:将元数据和表文件存储在文件系统中 
hive:在hive中存储元数据,用户可以直接从hive访问表

默认的文件系统

启动客户端

cd /opt/module/flink-1.17.1/bin
./sql-client.sh -s yarn-session

CREATE CATALOG fs_catalog WITH (
    'type' = 'paimon',
    'warehouse' = 'hdfs://hadoop102:8020/paimon/fs'
);

USE CATALOG fs_catalog;

 

hive存储 

下载jar包到flink的lib目录下

cd /opt/module/flink-1.17.1/lib

wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-hive-3.1.2_2.12/1.15.3/flink-sql-connector-hive-3.1.2_2.12-1.15.3.jar

启动hive,确保9083端口启动

nohup hive --service metastore & 

启动sql客户端

cd /opt/module/flink-1.17.1
bin/sql-client.sh -s yarn-session

CREATE CATALOG hive_catalog WITH (
    'type' = 'paimon',
    'metastore' = 'hive',
'uri' = 'thrift://hadoop102:9083',
'hive-conf-dir' = '/opt/module/hive/conf',
    'warehouse' = 'hdfs://hadoop102:8020/paimon/hive'
);

创建初始化sql文件，启动客户端不会丢失catalog 

cd /opt/module/flink-1.17.1

vi aa.sql

CREATE CATALOG hive_catalog WITH (
    'type' = 'paimon',
    'metastore' = 'hive',
'uri' = 'thrift://hadoop102:9083',
'hive-conf-dir' = '/opt/module/hive/conf',
    'warehouse' = 'hdfs://hadoop102:8020/paimon/hive'
);

CREATE CATALOG fs_catalog WITH (
    'type' = 'paimon',
    'warehouse' = 'hdfs://hadoop102:8020/paimon/fs'
);

SET 'sql-client.execution.result-mode' = 'tableau';

启动sql客户端 并初始化sql文件 

cd /opt/module/flink-1.17.1
bin/sql-client.sh -s yarn-session -i aa.sql

管理表 

在catalog中创建的表就是paimon的管理表，由catalog管理，当表从catalog删除的时候，表文件也将删除，类似hive的内部表

进入文件系统

use catalog fs_catalog;

创建联合主键

CREATE TABLE test (
    user_id BIGINT,
    item_id BIGINT,
    behavior STRING,
    dt STRING,
    hh STRING,
    PRIMARY KEY (dt, hh, user_id) NOT ENFORCED
);

 

创建分区表，按照dt和hh分区，分区字段必须是主键

CREATE TABLE test_p (
    user_id BIGINT,
    item_id BIGINT,
    behavior STRING,
    dt STRING,
    hh STRING,
    PRIMARY KEY (dt, hh, user_id) NOT ENFORCED
) PARTITIONED BY (dt, hh); 

创建表的其他方式

复制其他表 创建表 

CREATE TABLE test1(
    user_id BIGINT,
    item_id BIGINT
);


CREATE TABLE test2 AS SELECT * FROM test1;

CREATE TABLE test_aa LIKE test1;

复制表并指定分区 

CREATE TABLE test2_p WITH ('partition' = 'dt') AS SELECT * FROM test_p; 

创建表之后，inser into插入的数据以.orc后缀

CREATE TABLE test3(
       user_id BIGINT,
       item_id BIGINT
) WITH ('file.format' = 'orc');

insert into test3 values(1,2);

创建表之后，inser into插入的数据以.parquet后缀

CREATE TABLE test3_op WITH ('file.format' = 'parquet') AS SELECT * FROM test3; 

创建表 指定主键

CREATE TABLE test_pk WITH ('primary-key' = 'dt,hh') AS SELECT * FROM test;


创建表指定主键和分区

CREATE TABLE test_all WITH ('primary-key' = 'dt,hh', 'partition' = 'dt') AS SELECT * FROM test_p;

 

插入分区数据

insert into test_p PARTITION(dt='2023-07-02',hh='1') VALUES(4,4, 'bb');

设置批处理

就是查询的时候 不卡主，直接把结束的位置也展示出来

SET 'execution.runtime-mode' = 'batch'; 

flink cdc


flink cdc 就是把别的地方的表同步到paimon中

在自己的mysql的my.conf文件下配置下面的内容，开启binlog,并重启mysql

[client]
default_character_set=utf8
[mysqld]
collation_server = utf8_general_ci
character_set_server=utf8
## 设置server_id，同一局域网中需要唯一
server_id=1
## 开启二进制日志功能
log-bin=mall-mysql-bin
## 设置二进制日志使用内存大小（事务）
binlog_cache_size=1M
## 设置使用的二进制日志格式（mixed,statement,row）
binlog_format=row
#开启gtid模式
gtid-mode=on
#强制gtid一致性,开启后对特定的create table不支持          
enforce-gtid-consistency=on
#从库binlog记录主库同步的操作日志
log-slave-updates=1

添加flink cdc连接器 

cd /opt/module/flink-1.17.1/lib
wget https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.4.0/flink-sql-connector-mysql-cdc-2.4.0.jar
wget https://repository.apache.org/content/groups/snapshots/org/apache/paimon/paimon-flink-action/0.5-SNAPSHOT/paimon-flink-action-0.5-20230906.001916-132.jar

先把之前的yarn-session清除掉

重启yarn-session 和sql 客户端 

cd /opt/module/flink-1.17.1
bin/yarn-session.sh -d

bin/sql-client.sh -s yarn-session -i aa.sql

同步单个表

参数说明：

配置

描述

--warehouse

Paimon仓库路径。

--database

Paimon Catalog中的数据库名称。

--table

Paimon 表名称。

--partition-keys

Paimon 表的分区键。如果有多个分区键，请用逗号连接，例如“dt,hh,mm”。

--primary-keys

Paimon 表的主键。如果有多个主键，请用逗号连接，例如“buyer_id,seller_id”。

--computed-column

计算列的定义。参数字段来自 MySQL 表字段名称。

--mysql-conf

Flink CDC MySQL 源表的配置。每个配置都应以“key=value”的格式指定。主机名、用户名、密码、数据库名和表名是必需配置，其他是可选配置。

--catalog-conf

Paimon Catalog的配置。每个配置都应以“key=value”的格式指定。

--table-conf

Paimon 表sink的配置。每个配置都应以“key=value”的格式指定。

cd /opt/module/flink-1.17.1

bin/flink run \
    /opt/module/flink-1.17.1/lib/paimon-flink-action-0.5-20230906.001916-132.jar \
    mysql-sync-table \
    --warehouse hdfs://hadoop102:8020/paimon/hive \
    --database shucang \
    --table t_user_cdc7 \
    --primary-keys id \
    --mysql-conf hostname=192.168.10.104 \
    --mysql-conf server-time-zone=Asia/Shanghai \
    --mysql-conf username=root \
    --mysql-conf password=123456 \
    --mysql-conf port=13306 \
    --mysql-conf database-name=shucang \
    --mysql-conf table-name='t_user' \
    --catalog-conf metastore=hive \
    --catalog-conf uri=thrift://hadoop102:9083 \
    --table-conf bucket=1 \
    --table-conf changelog-producer=input \
--table-conf sink.parallelism=1

进入sql客户端，在对应的catalogs下面的数据库查看表

show catalogs;
use catalog hive_catalog;
show databases;
use shucang;
show tables;
select * from t_user_cdc7;

 

同步所有表

bin/flink run \
    /opt/module/flink-1.17.1/lib/paimon-flink-action-0.5-20230906.001916-132.jar \
    mysql-sync-database \
    --warehouse hdfs://hadoop102:8020/paimon/hive \
    --database shucang \
    --mysql-conf hostname=192.168.10.104 \
    --mysql-conf server-time-zone=Asia/Shanghai \
    --mysql-conf username=root \
    --mysql-conf password=123456 \
    --mysql-conf database-name=shucang \
    --mysql-conf port=13306 \
    --catalog-conf metastore=hive \
    --catalog-conf uri=thrift://hadoop102:9083 \
    --table-conf bucket=1 \
    --table-conf changelog-producer=input \
--table-conf sink.parallelism=1 

进入sql客户端 在对应的catalogs下面的数据库查看表

show catalogs;
use catalog hive_catalog;
show databases;
use shucang;
show tables;

集成hive

在hive目录下创建auxlib目录，并下载jar包

mkdir /opt/module/hive/auxlib
cd  /opt/module/hive/auxlib

wget https://repository.apache.org/content/groups/snapshots/org/apache/paimon/paimon-hive-connector-3.1/0.5-SNAPSHOT/paimon-hive-connector-3.1-0.5-20230906.001916-143.jar

 然后进入hive目录启动hive

bin/hive

可以看到paimon下的表都同步过来了 

show databases;

use shucang;

show tables;

集成spark

进入spark的jars目录下载jar包

cd /opt/module/spark-3.0.0-bin-hadoop3.2/jars
wget https://repository.apache.org/content/groups/snapshots/org/apache/paimon/paimon-spark-3.3/0.5-SNAPSHOT/paimon-spark-3.3-0.5-20230906.001916-143.jar

 文件系统默认

启动spark

cd /opt/module/spark-3.0.0-bin-hadoop3.2/bin
./spark-sql --conf spark.sql.catalog.fs=org.apache.paimon.spark.SparkCatalog --conf spark.sql.catalog.fs.warehouse=hdfs://hadoop102:8020/paimon/fs

可以看到表已经从fs同步过来了 

use fs.default;

show tables;

 

hive的catalog

启动spark

./spark-sql \
    --conf spark.sql.catalog.hive=org.apache.paimon.spark.SparkCatalog \
    --conf spark.sql.catalog.hive.warehouse=hdfs://hadoop102:8020/paimon/hive \
    --conf spark.sql.catalog.hive.metastore=hive \
    --conf spark.sql.catalog.hive.uri=thrift://hadoop102:9083 

可以看到hive的catalog下的表也同步过来了 

use hive.default;

show databases;

use shucang;

show tables; 

 

我是一只代码狗
关注
专栏目录
数据湖 paimon flink 0.5版本 jar 包
11-08
使用Flink操作Paimon 数据湖 时需要用到的jar包。
Paimon笔记
qq_33483616的博客
07-30 704
支持高吞吐数据摄入、变更追踪、高效分析的流批数据湖基于LSM提升写入速度并降低写入消耗；基于有序的SortRun裁剪大部分数据以提升查询性能；支持多种merge引擎实现高性能流表打宽。
Apache Paimon 文件布局设计
http://www.54tianzhisheng.cn/
02-01 1659
Apache Paimon 介绍Apache Paimon 基础概念一张表的所有文件都存储在一个基本目录下，Paimon 文件以分层方式组织。从快照文件开始，可以递归地访问表中的所有记录。image.pngSnapshot Files所有的 snapshot 文件都存储在 snapshot 目录下，snapshot file 是一个包含了 snapshot 信息的 JSON 文件：使用的 Sche...
Paimon实战 -- paimon原理解析
阿华田的博客
08-16 1189
Apache Paimon 原名 Flink Table Store，2022年1月在 Apache Flink 社区从零开始研发，Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。
流式数据湖存储技术，Apache Paimon是什么？
热门推荐
一个写湿的程序猿
03-30 1万+
是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。
新一代数据湖存储技术Apache Paimon入门Demo
Leonardo_KY的博客
05-22 1万+
新一代数据湖存储技术Apache Paimon（Flink Table Store）入门Demo，本文给出了一些简单的flink-paimon样例（example），可供快速学习上手（文中所有代码均已跑通）。
2 快速上手使用Paimon数据湖
大数据技术博客
11-08 2045
想要使用Paimon是非常简单的，不需要复杂的安装部署，只需要使用一个jar包即可对它进行操作。目前Paimon主要提供的是SQL层面的API，所以我们在使用Flink操作Paimon的时候需要用到Flink SQL。
基于apache paimon实时数仓全增量一体实时入湖
xiaosannimei的博客
05-24 3427
flink + paimon 全量 + 实时增量的数据入湖
流式数据湖Paimon课程完整课件内容
11-08
Apache Paimon是一款流式数据湖平台，源自Flink的子项目Flink Table Store，专为大数据开发、分析和数据仓库岗位的专业人士设计。通过学习Paimon，开发者能够掌握如何构建湖仓一体架构，理解其核心原理和架构，以及...
Apache Paimon数据湖中文教程
最新发布
09-09
Apache Paimon，作为新一代的数据湖技术，正迅速获得众多企业的青睐与采用。Paimon对比Apache Hudi，有一定的性能优势，同时运维成本也会显著降低。该文档重点阐述了以下几个方面的内容： 1. 如何实现Paimon与主流...
基于 Flink SQL + Paimon 构建流式湖仓新方案.pdf
01-25
Flink SQL + Paimon 是一种流式湖仓新方案，旨在解决传统数据仓库和数据湖之间的隔阂。该方案通过将 Flink SQL 与 Paimon 结合，实现了流式数据处理和湖仓存储的高度集成。 Flink SQL Flink SQL 是一种基于 Apache...
开源数据湖方案选型：Hudi、Delta、Iceberg深度对比
01-27
Apache Hudi是由Uber工程师设计的数据湖解决方案，针对其内部数据分析需求。Hudi的主要亮点在于它提供了快速的upsert和delete操作，以及数据压缩（compaction）功能，这恰好解决了许多用户在处理大规模数据时遇到的...
【Paimon】【部署】Hadoop-3.1.3 + Hive-3.1.3 + Flink-1.17.0
lilinxi001的博客
06-24 517
1.2 系统镜像文件。
数据湖存储解决方案之Paimon
marui156的专栏
02-21 3604
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
【Flink SQL API体验数据湖格式之paimon】
以茉萱的博客
12-24 1522
随着大数据技术的普及，数据仓库的部署方式也在发生着改变，之前在部署数据仓库项目时，首先想到的是选择国外哪家公司的产品，比如：数据存储会从Oracle、SqlServer中或者Mysql中选择，ETL工具会从Informatica、DataStage或者Kettle中选择，BI报表工具会从IBM cognos、Sap Bo或者帆软中选择，基本上使用的产品组合都类似，但随着数据量的激增，之前的部署方式已经越来越不能满足业务场景，例如：不同格式的数据存储，传出的数据库无法存储，而且随着数量的增多，数据库的响应速度
流数据湖平台Apache Paimon（一）概述
Maynor的博客
07-29 3165
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
为什么Paimon值得期待？
None
03-23 2739
前段时间 Flink table store 更名为 Apache Pimon ，并重新进入Apache incubator。截止目前，incubator-paimon项目已经在github上收获了600+ Star（https://github.com/apache/incubator-paimon）：之前虽然了解到Fink table store，但是没空去了解它，趁此机会，我也花了2天时间来...
Paimon教程
Cool_Pepsi的博客
01-21 1715
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了Flink Table Store (简称 FTS)子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
基于Apache Paimon实现流式数仓实践
微信搜：import_bigdata，大数据领域硬核原创作者
07-04 2205
300万字！全网最全大数据学习面试社区等你来！摘要本文主要介绍作为供应链物流服务商海程邦达在数字化转型过程中采用 Paimon 实现流式数仓的落地方案。我们提供一个适用于 k8s 环境并且易于上手的生产操作手册，旨在帮助读者快速掌握 Paimon 的使用方法。公司业务情况介绍大数据技术痛点以及选型生产实践问题排查分析未来规划01公司业务情况介绍海程邦达集团一直专注于供应链物流领域，通过打造优秀的国...
Apache Paimon数据湖深度解析与实战
"本课程专注于介绍Apache Paimon，一个流式数据湖平台，适用于大数据开发、分析和数据仓库岗位的从业者。课程内容涵盖Paimon的核心原理、架构、表类型、操作、CDC数据摄取、Hive集成、底层存储分析以及性能优化与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值