Dinky 单机部署

第一步:

上传 dinky-*.tar.gz 压缩包,解压缩

第二步: 修改配置文件

config/application.yml 修改使用 mysql 数据库

spring:
  # Dinky application name
  application:
    name: Dinky
  profiles:
    active: mysql #[h2,mysql,pgsql]
    include:
      - jmx
      - flyway
  lifecycle:
    timeout-per-shutdown-phase: 30s

config/application-mysql.yml 修改对应的链接

如果 mysql 版本是 5.x,不能使用 flyway 自动升级数据库,需要禁用
config/application-flyway.yml 禁用 flyway

spring:
  flyway:
    enabled: false # Is it enabled
    group: true # Enable grouping

第三步: 上传依赖的 jar

extends/flink1.xx/ 以下的依赖 jar 都可以在 flink lib 目录下找到
需要特别注意红框的两个 jar,参考官网: https://www.dinky.org.cn/docs/next/deploy_guide/normal_deploy
image.png

第四步: 初始化数据库

参考官网: https://www.dinky.org.cn/docs/next/deploy_guide/normal_deploy

第五步: 启动项目

sh auto.sh start

注意事项:

  • flink-conf.yaml

配置文件中,注意配置 yarn.application.user,fs.default-scheme 和 io.tmp.dirs 要对应同一个文件系统,项目中会把 flink 配置文件上传到 io.tmp.dirs 目录下,然后用 fs.default-scheme 对应的文件系统读取,或者不要配置 fs.default-scheme

  • 环境变量

需要配置 HADOOP_USER_NAME,指定了 flink 任务读写 hdfs 的用户

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Dinky是一个开箱即用的一站式实时计算平台,基于Apache Flink,并连接了OLAP和数据湖等多个框架,致力于实现流批一体和湖仓一体的建设和实践。 Dinky还提供了FlinkSQL可视化工具,方便用户进行Flink的可视化操作。 在使用Dinky之前,需要通过Dinky的可视化界面注册中心来添加Flink的环境。对于单机最简环境,我们可以按照以下步骤进行配置和启动: 1. 解压Flink安装:使用命令tar -xzf flink-1.14.6-bin-scala_2.12.tgz进行解压,然后进入解压后的目录:cd flink-1.14.6。 2. 修改配置文件:打开配置文件flink-1.14.6/conf/flink-conf.yaml,将其中的相关配置项修改为本机的IP地址和位置,如jobmanager.rpc.address和taskmanager.host。还可以根据需求修改其他配置项,比如内存大小和任务槽数量等。 3. 添加连接器:将需要使用的Flink连接器(如flink-sql-connector-kafka_2.12-1.14.6.jarflink-sql-connector-elasticsearch7_2.12-1.14.6.jarflink-sql-connector-mysql-cdc-2.3.0.jar等)放到flink-1.14.6/lib/目录下。 4. 启动集群:执行命令./start-cluster.sh来启动Flink集群。 这样,你就可以开始使用DinkyFlink进行实时计算了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka](https://blog.csdn.net/MHXSH_1_0/article/details/131072318)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值