![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
xiaolege_
目前重点研究Spring、Spring boot、Spring cloud、Kafka、Flink、Xxl-job、MySQL、Elastic search、Redis、Docker等,欢迎大家关注交流。
展开
-
flinkx运行任务配置详解
一个完整的Flinkx任务脚本配置包含 content, setting两个部分。content用于配置任务的输入源与输出源,其中包含reader,writer。而setting则配置任务整体的环境设定,其中包含restore,speed,errorLimit,dirty,log。具体如下所示:{ "job" : { "content" :[{ "reader" : { ...... }, "writer" : { ...... }原创 2020-12-11 14:19:24 · 1921 阅读 · 0 评论 -
flinkx local模式踩坑记录
1、下载源码,首次下载idea编译会报错,编译找不到DB2、达梦、gbase、ojdbc8等驱动包解决办法:在$FLINKX_HOME/jars目录下有这些驱动包,可以手动安装,也可以使用插件提供的脚本安装:```bash## windows平台./install_jars.bat## unix平台./install_jars.sh```编译打包:mvn clean package -Dmaven.test.skip=true2、把编译后的三个文件加bin/li原创 2020-12-11 14:26:22 · 934 阅读 · 0 评论 -
flume+Kafka+flink实时统计实战(单机版)
# Kafka启动服务安装配置好zookeeper,添加好环境变量,打开cmd,输入命令启动服务。zkServer在%KAFKA_HOME%目录,按shift+鼠标右键,选择“在此处打开命令窗口”,在控制台输入命令启动服务。.\bin\windows\kafka-server-start.bat .\config\server.propertieskafka命令创建主题.\bin\windows\kafka-topics.bat --create --zookeeper lo原创 2020-10-15 14:13:02 · 2393 阅读 · 3 评论 -
使用IntelliJ IDEA+Maven开发Flink项目
对于熟悉Maven操作的读者来说,可以象上一节讲的那样,先在命令行用Maven命令快速生成Flink基本程序框架,然后导入到IDE中进一步开发。如果读者更熟悉IDE(例如,IntelliJ IDEA)的话,那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具,我们可以方便快速地开发Flink项目。一、在IntelliJ IDEA中创建Flink项目第一步:启动IntelliJ IDEA,创建一个新的项目,如下图所示:转载 2020-10-15 14:11:29 · 6192 阅读 · 2 评论