2024年大数据最新StarRocks数据导入(2)，12道大数据开发高级面试题

于 2024-05-13 23:24:11 发布
阅读量885 收藏 23
点赞数 22
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84573149/article/details/138824057
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在这里插入图片描述

1.2、Flink CDC连接器

参考地址：
https://ververica.github.io/flink-cdc-connectors/release-2.0/content/about.html#supported-flink-versions

https://github.com/StarRocks/starrocks-connector-for-apache-flink

https://docs.starrocks.io/zh-cn/main/loading/Flink-connector-starrocks

1.3、搭建环境
  • StarRocks
  • Flink
  • Kafka
  • Zookeeper
  • MySQL

2、Flink读取Kafka数据写入StarRocks

Routine Load是StarRocks自带的可以消费Kafka数据的导入方式，其特点是简单易用，不依赖外部组件，但若需要对Kafka中的数据进行复杂的ETL，Routine Load可能就不能胜任了，这时就可以考虑使用Flink去消费Kafka中的数据，进行清洗转换后，再sink至StarRocks。

常见的实时报表的例子，使用Flink对Kafka中追加写入的数据进行实时处理，然后将数据源源不断的同步入库StarRocks。

2.1、数据准备
2.1.1、在Kafka中创建主题behavior和province
kafka-topics.sh --zookeeper 192.168.110.101:2181 --create --replication-factor 1 --partitions 1 --topic behavior

kafka-topics.sh --zookeeper 192.168.110.101:2181 --create --replication-factor 1 --partitions 1 --topic province
2.1.2、向主题behavior生产数据
kafka-console-producer.sh  --broker-list 192.168.110.101:9092 --topic behavior
2.1.3、生产数据
10001,zs,18,11,shopping
10002,ls,19, 11,add
10003,ww,19,61,star
2.1.4、向主题province生产数据
kafka-console-producer.sh  --broker-list 192.168.110.101:9092 --topic province
2.1.5、生产数据
11,北京
61,陕西
2.2、StarRocks准备
2.2.1、创建主键模型表s_province
create database starrocks;
use starrocks;
CREATE TABLE IF NOT EXISTS starrocks.`s\_province` (
  `uid` int(10) NOT NULL COMMENT "",
  `p\_id` int(2) NOT NULL COMMENT "",
  `p\_name` varchar(30) NULL COMMENT ""
)
PRIMARY KEY(`uid`)
DISTRIBUTED BY HASH(`uid`) BUCKETS 1
PROPERTIES (
"replication\_num" = "1",
-- 限主键模型
"enable\_persistent\_index" = "true"
);
2.3、Flink准备
2.3.1、启动Flink
 ./start-cluster.sh
2.3.2、启动sql-client
/sql-client.sh embedded
2.3.3、执行Flink SQL，创建上下游的映射表

1、Source部分，创建Flink向Kafka的映射表kafka_source_behavior

CREATE TABLE kafka_source_behavior (
    uuid int,
    name string,
    age int,
    province_id int,
    behavior string
) WITH (
    'connector' = 'kafka',
    'topic' = 'behavior',
    'properties.bootstrap.servers' = '192.168.110.101:9092',
    'properties.group.id' = 'source\_behavior',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'csv'
);

2、创建映射表kafka_source_province

CREATE TABLE kafka_source_province (
    pid int,
    p_name string
) WITH (
    'connector' = 'kafka',
    'topic' = 'province',
    'properties.bootstrap.servers' = '192.168.110.101:9092',
    'properties.group.id' = 'source\_province',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'csv'
);

3、Sink部分，创建Flink向StarRocks的映射表sink_province

CREATE TABLE sink_province (
   uid INT,
   p_id INT,
   p_name STRING,
   PRIMARY KEY (uid) NOT ENFORCED
)WITH (
   'connector' = 'starrocks',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'load-url'='192.168.110.101:8030',
   'database-name' = 'starrocks',
   'table-name' = 's\_province',
   'username' = 'root',
   'password' = 'root',
   'sink.buffer-flush.interval-ms' = '5000',
   'sink.properties.column\_separator' = '\x01',
   'sink.properties.row\_delimiter' = '\x02'
);
2.3.4、执行同步任务

执行Flink SQL，开始同步任务

insert into sink_province select b.uuid as uid, b.province_id as p_id, p.p_name from kafka_source_behavior b join kafka_source_province p on b.province_id = p.pid;
2.4、StarRocks查看数据
mysql -h192.168.110.101 -P9030 -uroot –proot

use starrocks;
select \* from s_province;

3、Flink JDBC读取MySQL数据写入StarRocks

使用Flink JDBC方式读取MySQL数据的实时场景不多，因为JDBC下Flink只能获取执行命令时MySQL表的数据，所以更适合离线场景。假设有复杂的MySQL数据，就可以在Flink中跑定时任务，来获取清洗后的数据，完成后写入StarRocks。

3.1、MySQL准备
3.1.1、MySQL中创建表s_user
use ODS;
CREATE TABLE `s\_user` (
   `id` INT(11) NOT NULL,
   `name` VARCHAR(32) DEFAULT NULL,
   `p\_id` INT(2) DEFAULT NULL,
   PRIMARY KEY (`id`)
);
3.1.2、插入数据
insert into s_user values(10086,'lm',61),(10010, 'ls',11), (10000,'ll',61);
3.2、StarRocks准备
3.2.1、StarRocks创建表s_user
use starrocks;
CREATE TABLE IF NOT EXISTS starrocks.`s\_user` (
   `id` int(10) NOT NULL COMMENT "",
   `name` varchar(20) NOT NULL COMMENT "",
   `p\_id` INT(2) NULL COMMENT ""
)
PRIMARY KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication\_num" = "1",
-- 限主键模型
"enable\_persistent\_index" = "true"
);
3.3、Flink创建映射表
3.3.1、启动Flink（服务未停止，可以跳过）
 ./start-cluster.sh
3.3.2、启动sql-client
./sql-client.sh embedded
3.3.3、Source部分，创建映射至MySQL的映射表source_mysql_suser
CREATE TABLE source_mysql_suser (
   id INT,
   name STRING,
   p_id INT,
   PRIMARY KEY (id) NOT ENFORCED
)WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://192.168.110.102:3306/ODS',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root'
);
3.3.4、Sink部分，创建至StarRocks的映射表sink_starrocks_suser
CREATE TABLE sink_starrocks_suser (
   id INT,
   name STRING,
   p_id INT,
   PRIMARY KEY (id) NOT ENFORCED
)WITH (
   'connector' = 'starrocks',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'load-url'='192.168.110.101:8030',
   'database-name' = 'starrocks',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root',
   'sink.buffer-flush.interval-ms' = '5000',
   'sink.properties.column\_separator' = '\x01',
   'sink.properties.row\_delimiter' = '\x02'
);
3.3.5、Flink清洗数据并写入StarRocks

只是简单做一个where筛选，实际业务可能是多表join的复杂场景

insert into sink_starrocks_suser select id,name,p_id from source_mysql_suser where p_id = 61;

数据写入StarRocks后，Flink任务完成并结束。此时若再对MySQL中s_user表的数据进行增删或修改操作，Flink亦不会感知。

4、Flink读取StarRocks数据写入MySQL

还使用MySQL 中的s_user表和StarRocks的s_user表，将业务流程反转一下，读取StarRocks中的数据写入其他业务库，例如MySQL。

4.1、Flink创建映射表
4.1.1、启动Flink（服务未停止，可以跳过）
./start-cluster.sh
4.1.2、启动sql-client
./sql-client.sh embedded
4.1.3、Source部分，创建StarRocks映射表source_starrocks_suser
CREATE TABLE source_starrocks_suser (
   id INT,
   name STRING,
   p_id INT
)WITH (
   'connector' = 'starrocks',
   'scan-url'='192.168.110.101:8030',
   'jdbc-url'='jdbc:mysql://192.168.110.101:9030',
   'database-name' = 'starrocks',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root'
);
4.1.4、Sink部分，创建向MySQL的映射表sink_mysql_suser
CREATE TABLE sink_mysql_suser (
   id INT,
   name STRING,
   p_id INT,
   PRIMARY KEY (id) NOT ENFORCED
)WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://192.168.110.102:3306/ODS',
   'table-name' = 's\_user',
   'username' = 'root',
   'password' = 'root'
);
4.2、MySQL准备
4.2.1、清空MySQL s_user表数据，为一会儿导入新数据做准备
 use ODS;
truncate table s_user;
4.3、Flink执行导入任务

简单梳理操作，实际业务可能会对StarRocks中多个表的数据进行分组或者join等处理然后再导入。

 insert into sink_mysql_suser select id,name,p_id from source_starrocks_suser;
4.4、查看MySQL数据
 select \* from s_user;

5、Flink CDC同步MySQL数据至StarRocks

  • 使用FlinkJDBC来读取MySQL数据时，JDBC的方式是“一次性”的导入，若希望让Flink感知MySQL数据源的数据变化，并近实时的实现据 同步，就需要使用Flink CDC。
  • CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的数据变动记录，同步到一个或多个数据目的地中（Sink）。直观的说就是当数据源的数据变化时，通过CDC可以让目标库中的数据同步发生变化（仅限于DML操作）。
  • 还使用前面MySQL的s_user表以及StarRocks的s_user表来演示。
5.1、MySQL准备
5.1.1、MySQL开启binlog（格式为ROW模式）

vi /etc/my.cnf

log-bin=mysql-bin  # 开启binlog
binlog-format=ROW # 选择ROW模式
server_id=1       # 配置MySQL replaction
5.1.2、重启MySQL服务：
systemctl restart mysqld
5.2、StarRocks准备
5.2.1、StarRocks中清空s_user表中的数据
mysql -h192.168.110.101 -P9030 -uroot –proot

use starrocks;
truncate table s_user;
5.3、Flink准备
5.3.1、启动Flink（服务未停止，可以跳过）
./start-cluster.sh
5.3.2、启动sql-client
./sql-client.sh embedded
5.3.3、Source部分，创建MySQL映射表cdc_mysql_suser


![img](https://img-blog.csdnimg.cn/img_convert/e1ec4c3849ebdde7fd949851060c6885.png)
![img](https://img-blog.csdnimg.cn/img_convert/a43d3f344a508c559269beef01fbff00.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
5.3、Flink准备
5.3.1、启动Flink（服务未停止，可以跳过）
./start-cluster.sh
5.3.2、启动sql-client
./sql-client.sh embedded
5.3.3、Source部分，创建MySQL映射表cdc_mysql_suser


[外链图片转存中...(img-qJyCNH51-1715613828496)]
[外链图片转存中...(img-R4j7Sfbi-1715613828496)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84573149
关注
  • 22
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
StarRocks从入门到精通系列五：导入数据
zhengzaifeidelushang的博客
11-16 1238
StarRocks从入门到精通系列五：导入数据
2024年大数据高频面试题(下篇）
最新发布
program哲学
07-17 1万+
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
StarRocks数据导入
docsz的博客
09-27 1157
StarRocks数据导入
最全StarRocks数据导入(2)
2401_84185145的博客
05-04 748
使用Flink JDBC方式读取MySQL数据的实时场景不多，因为JDBC下Flink只能获取执行命令时MySQL表的数据，所以更适合离线场景。还使用MySQL 中的s_user表和StarRocks的s_user表，将业务流程反转一下，读取StarRocks中的数据写入其他业务库，例如MySQL。在CDC场景下，Flink SQL执行后同步任务将会持续进行，当MySQL中数据出现变化，Flink会快速感知，并将变化同步至StarRocks中。
StarRocks 【新一代MPP数据库】
功不唐捐，玉汝于成
05-12 2597
StarRocks 基本使用
牛客大数据面试题集锦+答案，共523道，46W+字。大厂必备
09-04
共523道题，679页，46w+字，来源于牛客870+篇面经。 主要分为以下几部分： Hadoop面试题：100道 Zookeeper面试题：21道 Hive面试题：47道 Flume面试题：11道 Kafka面试题：59到 HBase面试题：36道 Spark面试题：97道...
2023年史上最全的大数据面试题（适用于大数据开发，大数据运维，云计算，数据治理，大数据架构师）
02-19
大数据面试题涵盖了多个关键领域的知识，这些领域包括但不限于Linux和Shell基础、Hadoop生态系统、Zookeeper、Flume、Kafka、Hive、HBase、Sqoop、Scala编程以及Spark。以下是对这些知识点的详细解释： 1. **Linux&...
2022年最新BAT大数据面试题.docx
11-04
BAT大数据面试题解读 本文档总结了 BAT 公司的大数据面试题，涵盖了 Kafka、Hadoop、Spark 等大数据技术栈的相关知识点。 一、Kafka 消息结构 Kafka 消息由 Header 和 Body 两部分组成。Header 部分由 Magic 标志...
大数据开发面试题合集.pdf
04-09
### 大数据开发面试题详解 #### 1. 什么是大数据（Big Data），并列举大数据的特征和应用场景。 - **定义**: 大数据是指无法在合理时间内通过常规软件工具进行捕获、管理和处理的数据集合。它不仅涉及大量数据，还...
Starrocks--数据插入方式
啊哈的博客
08-21 1827
Starrocks是一款快速、可伸缩的分布式OLAP数据库，支持多种数据插入方式。下面将详细介绍几种常用的数据插入方式，并提供选择建议。
sparkSql写入starRocks
qq_42389487的博客
03-20 795
sparkSql写入starRocks
starrocks学习
python程序员
03-22 481
学习网站 https://docs.starrocks.com/zh-cn/main/introduction/StarRocks_intro
数据仓库系列：StarRocks 下一代高性能分析数据仓库的架构、数据存储及表设计
penriver的博客
04-09 2635
本文是学习StarRocks的读书笔记，让你快速理解下一代高性能分析数据仓库的架构、数据存储及表设计。
StarRocks企业级数据库
Allenzyg的博客
08-11 1758
StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型(明细模型、聚合模型、更新模型)，多种导入方式（批量和实时），可整合和接入多种现有系统(Spark、Flink、Hive、 ElasticSearch)。
了解StarRocks
hellozhxy的博客
02-14 983
在以往的案例中，我们经过分区分桶的操作，加上 StarRocks 的水平扩容的能力，可 以支撑万级别的并发量。目前大部分的 MPP 计算 引擎都是使用 RBO 的模式，也就意味着我们在写 SQL 的时候，要手动的进行 SQL 的优 化，比如说大表与小表谁在前谁在后，WHERE 条件中那些谓词选择性高我们要放在前面， 在比如说，我们在开发中，可能会按照业务的逻辑写一些子查询，在优化的时候，我们可能 需要将这些子查询改写为反业务逻辑的多表关联操作。随着越来越多的企业都使用数据驱动决策，数据的价值也被逐步释放。
一文速通 StarRocks 数据库：核心概念、架构与特性
知行合一
10-31 645
本文档简要梳理了 StarRocks 的基本信息。StarRocks 是面向下个时代的，高性能的数据分析仓库。其提供了实时、多维度、高并发的数据分析能力。
StarRocks 的学习笔记
weixin_45866849的博客
10-28 5724
StarRocks 是一款极速全场景MPP 分析型数据库，可以“一栈式”的响应企业各类低延迟场景的查询需求。 StarRocks的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用StarRocks 来支持多种数据分析场景的极速分析。 StarRocks的架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO 优化器，查询速度（尤其是多表关联查询）远超同类产品。
StarRocks--被 Databricks CEO 提及的数据库
StarRocks的博客
07-07 604
湖仓分析的未来是极速统一！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值