最全StarRocks数据导入，2024年最新大数据开发原生开发如何深入进阶

最新推荐文章于 2024-10-01 18:56:44 发布
最新推荐文章于 2024-10-01 18:56:44 发布
阅读量526 收藏 6
点赞数 5
分类专栏： 程序员 文章标签： 大数据 linq c#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84159911/article/details/138548978
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2.1、数据准备
2.1.1、在Kafka中创建主题behavior和province
kafka-topics.sh --zookeeper 192.168.110.101:2181 --create --replication-factor 1 --partitions 1 --topic behavior

kafka-topics.sh --zookeeper 192.168.110.101:2181 --create --replication-factor 1 --partitions 1 --topic province
2.1.2、向主题behavior生产数据
kafka-console-producer.sh  --broker-list 192.168.110.101:9092 --topic behavior
2.1.3、生产数据
10001,zs,18,11,shopping
10002,ls,19, 11,add
10003,ww,19,61,star
2.1.4、向主题province生产数据
kafka-console-producer.sh  --broker-list 192.168.110.101:9092 --topic province
2.1.5、生产数据
11,北京
61,陕西
2.2、StarRocks准备
2.2.1、创建主键模型表s_province
create database starrocks;
use starrocks;
CREATE TABLE IF NOT EXISTS starrocks.`s\_province` (
  `uid` int(10) NOT NULL COMMENT "",
  `p\_id` int(2) NOT NULL COMMENT "",
  `p\_name` varchar(30) NULL COMMENT ""
)
PRIMARY KEY(`uid`)
DISTRIBUTED BY HASH(`uid`) BUCKETS 1
PROPERTIES (
"replication\_num" = "1",
-- 限主键模型
"enable\_persistent\_index" = "true"
);
2.3、Flink准备
2.3.1、启动Flink
 ./start-cluster.sh
2.3.2、启动sql-client
/sql-client.sh embedded
2.3.3、执行Flink SQL，创建上下游的映射表

1、Source部分，创建Flink向Kafka的映射表kafka_source_behavior

CREATE TABLE kafka_source_behavior (
    uuid int,
    name string,
    age int,
    province_id int,
    behavior string
) WITH (
    'connector' = 'kafka',
    'topic' = 'behavior',
    'properties.bootstrap.servers' = '192.168.110.101:9092',
    'properties.group.id' = 'source\_behavior',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'csv'
);

2、创建映射表kafka_source_province

CREATE TABLE kafka_source_province (
    pid int,
    p_name string
) WITH (
    'connector' = 'kafka',
    'topic' = 'province',
    'properties.bootstrap.servers' = '192.168.110.101:9092',
    'properties.group.id' = 'source\_province',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'csv'
);

3、Sink部分，创建Flink向StarRocks的映射表sink_province

CREATE TABLE sink_province (
   uid INT,
   p_id INT,
   p_name STRING,
   PRIMARY KEY (uid) NOT ENFORCED
)WITH (
   'connector' = 'starrocks',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'load-url'='192.168.110.101:8030',
   'database-name' = 'starrocks',
   'table-name' = 's\_province',
   'username' = 'root',
   'password' = 'root',
   'sink.buffer-flush.interval-ms' = '5000',
   'sink.properties.column\_separator' = '\x01',
   'sink.properties.row\_delimiter' = '\x02'
);
2.3.4、执行同步任务

执行Flink SQL，开始同步任务

insert into sink_province select b.uuid as uid, b.province_id as p_id, p.p_name from kafka_source_behavior b join kafka_source_province p on b.province_id = p.pid;
2.4、StarRocks查看数据
mysql -h192.168.110.101 -P9030 -uroot –proot

use starrocks;
select \* from s_province;

3、Flink JDBC读取MySQL数据写入StarRocks

使用Flink JDBC方式读取MySQL数据的实时场景不多，因为JDBC下Flink只能获取执行命令时MySQL表的数据，所以更适合离线场景。假设有复杂的MySQL数据，就可以在Flink中跑定时任务，来获取清洗后的数据，完成后写入StarRocks。

3.1、MySQL准备
3.1.1、MySQL中创建表s_user
use ODS;
CREATE TABLE `s\_user` (
   `id` INT(11) NOT NULL,
   `name` VARCHAR(32) DEFAULT NULL,
   `p\_id` INT(2) DEFAULT NULL,
   PRIMARY KEY (`id`)
);
3.1.2、插入数据
insert into s_user values(10086,'lm',61),(10010, 'ls',11), (10000,'ll',61);
3.2、StarRocks准备
3.2.1、StarRocks创建表s_user
use starrocks;
CREATE TABLE IF NOT EXISTS starrocks.`s\_user` (
   `id` int(10) NOT NULL COMMENT "",
   `name` varchar(20) NOT NULL COMMENT "",
   `p\_id` INT(2) NULL COMMENT ""
)
PRIMARY KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication\_num" = "1",
-- 限主键模型
"enable\_persistent\_index" = "true"
);
3.3、Flink创建映射表
3.3.1、启动Flink（服务未停止，可以跳过）
 ./start-cluster.sh
3.3.2、启动sql-client
./sql-client.sh embedded
3.3.3、Source部分，创建映射至MySQL的映射表source_mysql_suser
CREATE TABLE source_mysql_suser (
   id INT,
   name STRING,
   p_id INT,
   PRIMARY KEY (id) NOT ENFORCED
)WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://192.168.110.102:3306/ODS',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root'
);
3.3.4、Sink部分，创建至StarRocks的映射表sink_starrocks_suser
CREATE TABLE sink_starrocks_suser (
   id INT,
   name STRING,
   p_id INT,
   PRIMARY KEY (id) NOT ENFORCED
)WITH (
   'connector' = 'starrocks',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'load-url'='192.168.110.101:8030',
   'database-name' = 'starrocks',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root',
   'sink.buffer-flush.interval-ms' = '5000',
   'sink.properties.column\_separator' = '\x01',
   'sink.properties.row\_delimiter' = '\x02'
);
3.3.5、Flink清洗数据并写入StarRocks

只是简单做一个where筛选，实际业务可能是多表join的复杂场景

insert into sink_starrocks_suser select id,name,p_id from source_mysql_suser where p_id = 61;

数据写入StarRocks后，Flink任务完成并结束。此时若再对MySQL中s_user表的数据进行增删或修改操作，Flink亦不会感知。

4、Flink读取StarRocks数据写入MySQL

还使用MySQL 中的s_user表和StarRocks的s_user表，将业务流程反转一下，读取StarRocks中的数据写入其他业务库，例如MySQL。

4.1、Flink创建映射表
4.1.1、启动Flink（服务未停止，可以跳过）
./start-cluster.sh
4.1.2、启动sql-client
./sql-client.sh embedded
4.1.3、Source部分，创建StarRocks映射表source_starrocks_suser
CREATE TABLE source_starrocks_suser (
   id INT,
   name STRING,
   p_id INT
)WITH (
   'connector' = 'starrocks',
   'scan-url'='192.168.110.101:8030',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'database-name' = 'starrocks',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root'
);
4.1.4、Sink部分，创建向MySQL的映射表sink_mysql_suser
CREATE TABLE sink_mysql_suser (
   id INT,
   name STRING,
   p_id INT,
   PRIMARY KEY (id) NOT ENFORCED
)WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://192.168.110.102:3306/ODS',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root'
);
4.2、MySQL准备
4.2.1、清空MySQL s_user表数据，为一会儿导入新数据做准备
 use ODS;
truncate table s_user;
4.3、Flink执行导入任务

简单梳理操作，实际业务可能会对StarRocks中多个表的数据进行分组或者join等处理然后再导入。

 insert into sink_mysql_suser select id,name,p_id from source_starrocks_suser;
4.4、查看MySQL数据
 select \* from s_user;

5、Flink CDC同步MySQL数据至StarRocks

  • 使用FlinkJDBC来读取MySQL数据时，JDBC的方式是“一次性”的导入，若希望让Flink感知MySQL数据源的数据变化，并近实时的实现据 同步，就需要使用Flink CDC。
  • CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的数据变动记录，同步到一个或多个数据目的地中（Sink）。直观的说就是当数据源的数据变化时，通过CDC可以让目标库中的数据同步发生变化（仅限于DML操作）。
  • 还使用前面MySQL的s_user表以及StarRocks的s_user表来演示。
5.1、MySQL准备
5.1.1、MySQL开启binlog（格式为ROW模式）

vi /etc/my.cnf

log-bin=mysql-bin  # 开启binlog
binlog-format=ROW # 选择ROW模式
server_id=1       # 配置MySQL replaction
5.1.2、重启MySQL服务：
systemctl restart mysqld
5.2、StarRocks准备
5.2.1、StarRocks中清空s_user表中的数据
mysql -h192.168.110.101 -P9030 -uroot –proot

use starrocks;
truncate table s_user;
5.3、Flink准备
5.3.1、启动Flink（服务未停止，可以跳过）
./start-cluster.sh
5.3.2、启动sql-client
./sql-client.sh embedded
5.3.3、Source部分，创建MySQL映射表cdc_mysql_suser
CREATE TABLE cdc_mysql_suser (
   id INT,
   name STRING,
   p_id INT
) WITH (
   'connector' = 'mysql-cdc',
   'hostname' = '192.168.110.102',
   'port' = '3306',
   'username' = 'root',
   'password' = 'root',
   'database-name' = 'ODS',
   'scan.incremental.snapshot.enabled'='false',
   'table-name' = 's\_user'
);
5.3.4、Sink部分，创建向StarRocks的cdc_starrocks_suser
CREATE TABLE cdc_starrocks_suser (
   id INT,
   name STRING,
   p_id INT,
   PRIMARY KEY (id) NOT ENFORCED
)WITH (
   'connector' = 'starrocks',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'load-url'='192.168.110.101:8030',
   'database-name' = 'starrocks',
   'table-name' = 's\_user',
   'username' = 'root',


![img](https://img-blog.csdnimg.cn/img_convert/0c0aa6cf2286ba122934780ea02847d9.png)
![img](https://img-blog.csdnimg.cn/img_convert/c9d5e2c93b15fb4aa2c261b5093be7ab.png)
![img](https://img-blog.csdnimg.cn/img_convert/e6e7e9e57b7f8bf20fd3f1607c375370.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

ED
)WITH (
   'connector' = 'starrocks',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'load-url'='192.168.110.101:8030',
   'database-name' = 'starrocks',
   'table-name' = 's\_user',
   'username' = 'root',


[外链图片转存中...(img-knXMR2Oa-1715093714035)]
[外链图片转存中...(img-vxWDsFLg-1715093714035)]
[外链图片转存中...(img-RomeQTh9-1715093714035)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2401_84159911
关注
专栏目录
OLAP技术全览：从理论到应用详解.pdf
09-04
OLAP的统一及技术趋势：StarRocks架构和实践分享、大数据分析平台之云原生OLAP架构的最佳实践、开源大数据OLAP的思考及最佳实践、滴滴OLAP的技术实践与发展方向、小米OLAP引擎在Trino的应用实践、基于OLAP和指标体系...
10分钟带你全面了解StarRocks
热门推荐
hellozhxy的博客
07-19 1万+
StarRocks 是一款极速全场景 MPP 企业级数据库产品，具备水平在线扩缩容，金融级高可用，兼容 MySQL 5.7 协议和 MySQL 生态，提供全面向量化引擎与多种数据源联邦查询等重要特性。StarRocks 致力于在全场景 OLAP 业务上为用户提供统一的解决方案，适用于对性能，实时性，并发能力和灵活性有较高要求的各类应用场景。
StarRocks 【新一代MPP数据库】
功不唐捐，玉汝于成
05-12 3979
StarRocks 基本使用
探索StarRocks：高性能的分析数据库
bhawfgrcbtwny的博客
10-01 382
StarRocks是一款高性能的分析数据库，专为涵盖多维分析、实时分析和即席查询等全方位场景而设计。它以超快的矢量化执行引擎著称，使其不仅仅局限于OLAP操作，还可以作为快速的向量数据库（vectordb）使用。StarRocks作为一款高性能的分析数据库，在实时分析和复杂查询方面展现出极高的效率。对于希望提升数据分析能力的企业和开发者，StarRocks无疑是一个值得探索的解决方案。
大数据技术8：StarRocks极速全场景MPP数据仓库
何哥的博客
12-10 2670
StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
数据仓库系列：StarRocks 入门培训教程
penriver的博客
06-29 3970
StarRocks 是一款MPP DB, 对标ClickHouse、Vertica、Teradata、Greenplum，在查询性能上远超当代最快的开源数据库 clickhouse，目前已经被一众互联网企业在生产环境中采用。 本文是使用starrocks的入门培训教程
StarRocks面试题及答案整理，最新面试题
知识极客
03-16 1911
如果有，它会自动重写查询，以便直接访问物化视图中的数据，而不是原始表。在大表与小表的JOIN操作中，通常会将小表的数据广播到所有节点，这样每个节点都有一份小表的数据，可以本地化大表与小表的JOIN操作，减少网络传输开销。StarRocks 可以无缝整合数据湖中的数据，支持多种数据格式，如Parquet、ORC等，允许直接在数据湖上进行查询分析，无需数据迁移。StarRocks 使用成本基准的优化器（CBO），它会评估不同执行计划的成本，包括I/O、CPU和网络开销，并选择成本最低的执行计划。
基于ClickHouse+StarRocks构建支撑千亿级数据量的高可用查询引擎.pdf
04-23
【基于ClickHouse+StarRocks构建支撑千亿级数据量的高可用查询引擎】 在大数据处理领域，ClickHouse和StarRocks都是备受瞩目的列式数据库管理系统（Column-Oriented DBMS），尤其适合处理大规模的数据查询任务。在...
尚硅谷大数据技术之StarRocks.doc
最新发布
10-31
尚硅谷大数据技术之StarRocks.doc
fastmybatis是一个mybatis开发框架，其宗旨为：简单、快速、有效
07-11
fastmybatis是一个mybatis开发框架，其宗旨为：简单、快速、有效。零配置快速上手，无需依赖Spring。无需编写xml文件即可完成增删改查操作，支持LambdaQuery查询、支持JPA Query Method查询（findByXxx）。支持mysql...
大数据-常用组件原理-大数据培训
06-18
5. **Value（价值）**：尽管数据量庞大，但真正有价值的信息需要通过深入的分析和挖掘才能获取。 #### 二、大数据的重要性与影响 大数据不仅对企业的决策制定有着重要的影响，还在客户洞察、运营优化、风险管理、...
StarRocks数据库部署全记录(保姆式帮助你初次体验StarRocks)
Wyatt_zhai
08-02 3326
因业务需要，特此了解StarRocks产品和部署。 接触过程中发现指导资料很稀少，本人将结合官方的手册+其他开源博主指导，将第一次接触到的概念和部署流程梳理，得出本文。 已有的资源中对细节介绍欠缺，导致我本人整个过程中花费了大量时间去验证。这也是本文独特之处
最全StarRocks数据导入(2)
2401_84185145的博客
05-04 808
使用Flink JDBC方式读取MySQL数据的实时场景不多，因为JDBC下Flink只能获取执行命令时MySQL表的数据，所以更适合离线场景。还使用MySQL 中的s_user表和StarRocks的s_user表，将业务流程反转一下，读取StarRocks中的数据写入其他业务库，例如MySQL。在CDC场景下，Flink SQL执行后同步任务将会持续进行，当MySQL中数据出现变化，Flink会快速感知，并将变化同步至StarRocks中。
数据仓库系列：StarRocks 下一代高性能分析数据仓库的架构、数据存储及表设计
penriver的博客
04-09 2780
本文是学习StarRocks的读书笔记，让你快速理解下一代高性能分析数据仓库的架构、数据存储及表设计。
StarRocks企业级数据库
Allenzyg的博客
08-11 1833
StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型(明细模型、聚合模型、更新模型)，多种导入方式（批量和实时），可整合和接入多种现有系统(Spark、Flink、Hive、 ElasticSearch)。
猿创征文｜国产数据库[StarRocks]实战学习
杀神lwz的博客
10-04 4323
StarRocks是新一代极速全场景MPP数据库StarRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化，升级架构，并增添了众多全新功能，形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型（明细模型、聚合模型、更新模型），多种导入方式（批量和实时），可整合和接入多种现有系统（Spark，Flink，Hive，ElasticSearch）。
StarRocks 极速全场景 MPP 数据库介绍及使用
小毕超博客
05-21 2005
StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。兼容MySQL协议，可使用MySQL客户端和常用BI工具对接。同时StarRocks具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP报表、数据湖分析等场景。充分吸收关系型OLAP。
StarRocks简介与搭建使用
qq_70696245的博客
03-27 2855
StarRocks 是一款高速、实时、全场景的MPP（大规模并行处理）分析型数据库系统，专为现代数据分析场景设计，强调亚秒级查询性能和高并发能力。它兼容MySQL协议，使得用户可以利用现有的MySQL客户端工具和BI工具进行查询和数据分析。StarRocks基于MPP架构，采用全向量化执行引擎、列式存储技术和智能优化器等先进技术，实现了数据的快速加载、实时更新以及复杂查询的高效处理。可以满足企业级用户的多种分析需求，广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
StarRocks入门之路
luo981695830的博客
09-01 6583
StarRocks是一个高性能分布式关系型列式数据库，通过MPP执行框架，单节点每秒可处理多达100亿行数据，同时支持星型模型和雪花模型。StarRocks集群由FE和BE构成，可以使用MySQL客户端访问StarRocks集群。FE接收MySQL客户端的连接，解析并执行SQL语句，管理元数据，执行SQL DDL命令， 用Catalog记录库、表、分区，tablet副本等信息。BE管理tablet副本，tablet是table经过分区分桶形成的子表，采用列式存储。BE受FE指导，创建或删除子表。...
Starrocks数据结构
08-31
Starrocks是一种开源的分布式SQL数据库，它采用了高度优化的数据结构和技术来支持高性能的查询处理。Starrocks的主要数据结构包括： 1. **行式存储** (Row Store): 数据按行组织，每个分区作为一个大的连续内存区域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值