实时
BigData-0
这个作者很懒,什么都没留下…
展开
-
flink事件水位线Watermark样例
flink事件水位线测试原创 2023-02-27 23:34:21 · 160 阅读 · 1 评论 -
shell自动生产带随机延迟时间戳JSON数据到kafka
【代码】shell自动生产带随机延迟时间戳JSON数据到kafka。原创 2023-02-27 23:30:02 · 308 阅读 · 0 评论 -
win elasticsearch.bat闪退OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x000000040
es原创 2023-02-22 22:38:06 · 751 阅读 · 0 评论 -
flink on yarn提交样例,控制1个taskmanger 拥有的slot和cpu个数参数配置
flink on yarn提交样例,控制1个taskmanger 拥有的slot和cpu个数参数配置原创 2022-11-04 23:28:39 · 995 阅读 · 0 评论 -
linux 上mvn编译要重新下载jar包问题
在使用mvn install 编译前,不要将target目录中的文件删掉原创 2021-11-27 18:07:19 · 1033 阅读 · 0 评论 -
flink yarn-per-job模式 后台执行 定义 yarn名称 定义 flinkjob名称 jdbcSink动态传参 消费aws kinesis配置aliyun scala编译
flink run -d -m yarn-cluster -ynm test2 -c xx.xx /home/baiyun/xxxx/target/xxxx.jar –xxx xx --xx xxx --xx xxx --tableName xx --jobName test2 <properties> <java.version>1.8</java.version> <scala原创 2021-11-27 03:09:00 · 2143 阅读 · 0 评论 -
scala.Product.$init$(Lscala/Product;)V
更换scala版本,pom中scala版本与本地环境一致原创 2021-11-27 01:41:23 · 1732 阅读 · 0 评论 -
flink yarn-per-job作业提交
yarn-session.sh -n 2 -tm 2048 -s 2 -dflink run -c 主类 xx.jar args1 args2原创 2021-11-25 00:23:30 · 1220 阅读 · 0 评论 -
flink_cdc包提交流程
在idea中使用package命令带包,不带依赖flink_cdc-1.0-SNAPSHOT.jar1.添加第三方包到lib目录下,所有从节点也需要mv test/flink-connector-mysql-cdc-1.1.1.jar /opt/module/flink/lib/xsync /opt/module/flink/lib/flink-connector-mysql-cdc-1.1.1.jar2.启动集群start-cluster.shlocalhost:8081 webui3.原创 2021-09-20 22:41:23 · 467 阅读 · 0 评论 -
flink on yarn
yarn-session.sh -d原创 2021-06-12 23:10:39 · 112 阅读 · 2 评论 -
flink-standalone web界面提交作业
原创 2021-06-12 22:46:43 · 271 阅读 · 0 评论 -
flink-standalone提交作业
flink-standalone 安装配置好后启动flink集群/opt/module/flink/bin/start-cluster.shhttp://192.168.9.101:8081/#/task-manager编写样例import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.streaming.api.scala._object FlinkTest { def ma原创 2021-06-12 20:08:26 · 783 阅读 · 0 评论 -
连接redis的参数配置
scalaobject RedisUtil { private val jedisPoolConfig: JedisPoolConfig = new JedisPoolConfig() jedisPoolConfig.setMaxTotal(100) //最大连接数 jedisPoolConfig.setMaxIdle(20) //最大空闲 jedisPoolConfig.setMinIdle(10) //最小空闲 jedisPoolConfig.setBloc.原创 2021-04-06 21:49:26 · 466 阅读 · 0 评论