Dinky教程- 数据源那些你不知道的功能

原文阅读:Dinky教程- 数据源那些你不知道的功能

Dinky数据源使用教程

项目地址:GitHub - DataLinkDC/dinky: Dinky is a real-time data development platform based on Apache Flink, enabling agile data development, deployment and operation.
如果觉得项目不错欢迎前去点下 Star

image.png

在我们日常使用Dinky过程中,数据源是必不可少的,它可以帮我们快速创建Flink sql,查询数据,检查元数据等功能,但是对于连接模板 与连接配置 以及其他功能你都了解吗?下面我来讲一下DInky 数据源的玩法全流程,希望对你开发有帮助。

数据源Flink连接配置

在创建数据源的时候,下面有两个大框,其中一个叫 数据源Flink连接配置,他的功能类似于全局参数,下面我们以Doris数据源为例,介绍一下这个功能的作用。

image.png

  1. 首先,我们建立一个Doris数据源,名字叫doris-online
  2. 填写好参数,测试连接成功
  3. 在Flink连接配置处填写以下内容

sql 复制代码 

'connector' = 'doris',
'fenodes' = 'fe地址:8030',
'username' = '用户',
'password' = '密码'
  1. 点击保存

返回数据开发页面,新建FlinkSql任务,创建Doris虚拟表
如下图所示,我们可以直接使用 ${doris-online} 来代替上面我们填写的内容,在多任务情况下,这种方式可以实现数据源统一管理与全局设置等功能。doris-online 就是我们数据源的名字

image.png

当然你也可以使用全局变量实现此功能,这个连接配置是不是显得多余了?
自然不是,这就要提出数据源里面的另一个功能,Flink 连接模板

Flink 连接模板

继续我们上面的Doris数据源编辑
在Flink 连接模板处填写以下内容

sql 复制代码 

${doris-dev},
'table.identifier' = '#{schemaName}.#{tableName}'

${doris-dev}自然就是我们Flink连接配置里面的内容了,下面的先不用管,后面自由妙用。
然后我们返回数据开发,点击左侧数据源,选择我们刚刚建立的Doris,随便选择一张表

image.png

点击生成SQL
我们会发现,dinky不仅生成了Flink Sql ddl建表语句,还把 #{schemaName}.#{tableName} 替换为了实际的库和表名,我们只需要直接复制即可使用,是不是大大方便了开发呢。

image.png

数据查询

还支持简单的数据查询功能

image.png

  • 21
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Dinky是一个开箱即用的一站式实时计算平台,基于Apache Flink,并连接了OLAP和数据湖等多个框架,致力于实现流批一体和湖仓一体的建设和实践。 Dinky还提供了FlinkSQL可视化工具,方便用户进行Flink的可视化操作。 在使用Dinky之前,需要通过Dinky的可视化界面注册中心来添加Flink的环境。对于单机最简环境,我们可以按照以下步骤进行配置和启动: 1. 解压Flink安装包:使用命令tar -xzf flink-1.14.6-bin-scala_2.12.tgz进行解压,然后进入解压后的目录:cd flink-1.14.6。 2. 修改配置文件:打开配置文件flink-1.14.6/conf/flink-conf.yaml,将其中的相关配置项修改为本机的IP地址和位置,如jobmanager.rpc.address和taskmanager.host。还可以根据需求修改其他配置项,比如内存大小和任务槽数量等。 3. 添加连接器:将需要使用的Flink连接器(如flink-sql-connector-kafka_2.12-1.14.6.jar、flink-sql-connector-elasticsearch7_2.12-1.14.6.jar、flink-sql-connector-mysql-cdc-2.3.0.jar等)放到flink-1.14.6/lib/目录下。 4. 启动集群:执行命令./start-cluster.sh来启动Flink集群。 这样,你就可以开始使用DinkyFlink进行实时计算了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka](https://blog.csdn.net/MHXSH_1_0/article/details/131072318)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值