Flinkx
文章平均质量分 75
secretWHD
“人类生活中工作占据了较大的比重,如果不能从劳动中、工作中获得充实感,那么即使从别的地方找到快乐,最终我们仍然会感到空虚和缺憾”。
展开
-
第一次 flinkx任务分配资源测试
FlinkX1.10 设置-confProp,最终测试得出结论:说明-confProp的jobmanager.memory.mb参数有效 ,读取flink-conf.Prop的jobmanager.heap.size参数无效说明-confProp的taskmanager.memory.mb参数未生效 ,读取flink-conf.Prop的taskmanager.memory.mb参数有效说明-confProp的parallelism.default参数未生效,读取flink-conf.Prop的原创 2021-10-19 23:21:39 · 869 阅读 · 0 评论 -
第二次 Flinkx任务资源分配测试
测试版本为FlinkX1.10最终的测试结果:设置parallelism并行度,在json文件的speed.channel里配置设置taskmanger内存,在flink-conf.yaml的taskmanager.memory.process.size里配置设置slot个数,在flinkx-conf.yaml的taskmanager.numberOfTaskSlots里配置-confProp只有配置jobmanager.memory.mb才有生效,其他配置都不生效yarn 配置.原创 2021-10-17 18:09:50 · 563 阅读 · 0 评论 -
FlinkX各种模式的启动脚本和解释
官方启动参数说明 名称 说明 可选值 是否必填 默认值 mode 执行模式,也就是flink集群的工作模式 1.local: 本地模式 2.standalone: 独立部署模式的flink集群 3.yarn: yarn模式的flink集群,需要提前在yarn上启动一个flink session,使用默认名称"Flink se原创 2021-08-30 23:15:17 · 851 阅读 · 0 评论 -
Mysql同步到Hive实例
Mysql同步到Hive实例以下实例均为本地模式下运行完成,主要是针对Mysql数据同步到Hive的实例说明。将介绍mysqlreader和hivewrite的所有参数配置的使用。mysqlwrite参数说明:https://github.com/DTStack/flinkx/blob/1.10_release/docs/offline/reader/mysqlreader.mdhiveread参数说明:https://github.com/DTStack/flinkx/blob/1.10_relea原创 2021-06-12 14:51:05 · 2156 阅读 · 0 评论 -
Flinkx如何通过json文件定位读写插件
前言Flinkx作为数据同步工具,它通过json配置文件来确定多源到多源的数据同步和同步策略,这次就来看看Flinkx是如何通过json配置文件来定位reader和writer端的整体结构从Flinkx项目里可以看到,它对每个数据源都定义了core,reader输出端,writer输入端。当然也有意外,hive和redis只要输入。Flinkx是如何通过json配置文件定位这个源呢看源码定位到D:\Projects\flinkx-1.8.5\flinkx-core\src\main\java\原创 2021-06-12 14:50:19 · 367 阅读 · 0 评论 -
Flinkx启动流程-整体理解
1. 先看启动脚本在bin/flinkx的内容set -eexport FLINKX_HOME="$(cd "`dirname "$0"`"/..; pwd)"# Find the java binaryif [ -n "${JAVA_HOME}" ]; then JAVA_RUN="${JAVA_HOME}/bin/java"else if [ `command -v java` ]; then JAVA_RUN="java" else echo "JAVA_HOM原创 2021-06-12 14:49:32 · 250 阅读 · 0 评论 -
flinkX快速启动
在flinkx启动之前,请提前安装git,maven,mysql(已同步mysql为例)。 windows安装提前安装好jdk和maven下载代码1.使用git工具把项目clone到本地,或者直接下载flinkx-1.8.5.zipgit clone https://github.com/DTStack/flinkx.git cd flinkx2.直接下载源码wget https://github.com/DTStack/flinkx/archive/1.8.5.zip unzip flin原创 2021-06-12 14:47:55 · 298 阅读 · 0 评论