总结
总结IT工作中经验
优惠券已抵扣
余额抵扣
还需支付
¥99.90
¥299.90
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
Thomas2143
全世界都在 逼你长大,我想让你做回孩子,保持热爱 奔赴山河,知足上进,不负野心!
展开
-
flink程序 官方测试工具 scala版本 本地亲测
udf测试 flinkc程序测试。原创 2024-09-10 14:53:52 · 202 阅读 · 0 评论 -
flink1.18.0 试用谷歌云 checkpoint报错:com.google.common.collect.ImmutableMap$Builder.buildOrThrow()
基础镜像: https://hub.docker.com/_/flink/tags?flink 开始做checkpoint写入google云存 就会触发报错。升级到flink1.18.1。原创 2024-09-09 14:20:55 · 50 阅读 · 0 评论 -
吉利银河L6(官方小订送的3M) 对比 威固vk70+ks15
/ 忘记测反射的热量了 可以验证金属膜是反射热而不是吸热。原创 2024-06-29 20:40:09 · 541 阅读 · 0 评论 -
apache paimon在flink中做维表join的优势
下载源码自己看下 有些错的请帮忙提示我# 核心参数- AUTO //默认值- Auto mode, try to use partial mode. //部分更新模式.- FULL- Use full caching mode //rocksdb存全量,可规避常规look up join的缓存穿透# 维表join 入口分类逻辑 PrimaryKeyPartialLookupTable|PrimaryKeyLookupTable 的 open。原创 2024-06-05 17:51:07 · 829 阅读 · 5 评论 -
flink1.18.0 jdk17 报错 Unable to make field private final java.lang.Object[] java.util.Arrays$ArrayLis
flink原创 2024-04-17 10:13:20 · 580 阅读 · 0 评论 -
flinksql 写入kafka csv json raw等区别对比
【代码】flinksql 写入kafka csv json raw等区别对比。原创 2024-03-21 11:54:02 · 161 阅读 · 0 评论 -
pyflink1.18.0 报错 TypeError: cannot pickle ‘_thread.lock‘ object
1 放到 jobmanager初始化后 taskmanager拉一遍。2 起个单独的http服务供pyflink调用。原创 2024-03-15 10:52:25 · 481 阅读 · 2 评论 -
starrocks3.0 编写自定义UDF java/scala版本 clickhouse中countResample
starrocks实现clickhouse中的CountResample函数原创 2024-01-24 17:58:48 · 871 阅读 · 1 评论 -
宁波 23年12月 四明湖水杉湿地 全景图
原创 2024-01-06 23:41:26 · 366 阅读 · 0 评论 -
flink 读取 apache paimon表,查看source的延迟时间 消费堆积情况
如果没有延迟 则显示0。原创 2023-12-19 17:49:00 · 849 阅读 · 0 评论 -
flink kafka source报错 javax.management.InstanceAlreadyExistsException: kafka.consumer:type=
你有多个同topic的kafka source,默认的kafka的 client.id都是一样的 所以这里的警告就是告诉你多个消费者 cilent.id一样,所以我们在 kafka source的with中增加配置 给client.id配置不同前缀来做区分即可。原创 2023-11-30 10:50:46 · 452 阅读 · 0 评论 -
flinkSQL写入starrocks json/csv相关 部分字段更新
【代码】flinkSQL写入starrocks json/csv相关。原创 2023-11-16 10:18:55 · 465 阅读 · 0 评论 -
flink sql 维表join报错 Temporal table join requires an equality condition on fields of table
新建视图 或者 新增字段 来cast类型为一致,都不行.应该修改/修正原表DDL.原创 2023-11-22 17:59:12 · 457 阅读 · 0 评论 -
flink1.10袋鼠云 迁移 flink1.15原生环境 事项汇总
表DDL(平台自动生成)修改适配1 DDL语法不通用 (袋鼠云DDL中支持给别名 DDL采用数据中台生成的模板,并把老版本DDL中的配置通过到相应参数中)2 袋鼠云DDL支持给别名sql中字段和DDL中字段不一致. 两种解决方案:1 FlinkSQL别名语法和袋鼠云略不同袋鼠云DDL:parseJson(parseJson(_MESSAGE, 'data'), 'recordId') AS recordIdFlinkSQL1.15 DDL:reco原创 2023-11-21 13:49:35 · 1236 阅读 · 0 评论 -
flink 写入 starrocks 报错 too many filtered rows attachment
把你starrocks中DDL里的varchar(...) 先修改为STRING. 一般是因为字段超出定义的长度.原创 2023-11-10 11:04:13 · 960 阅读 · 1 评论 -
flink udtaf 常年不能用
flink1.18发布的时候 他都显示未解决 但是文档上一直有udtaf。原创 2023-11-09 15:49:40 · 433 阅读 · 0 评论 -
flink1.18.0 sql-client报错
【代码】flink1.18.0 sql-client报错。原创 2023-11-09 15:07:36 · 1508 阅读 · 1 评论 -
flink1.18.0 sql-client报错
官网下载这个放到$FLINK_HOME/lib下即可。原创 2023-11-09 15:04:17 · 1096 阅读 · 0 评论 -
flink1.18.0 macos sql-client.sh启动报错
【代码】flink1.18.0 macos sql-client.sh启动报错。原创 2023-11-09 14:30:57 · 1204 阅读 · 0 评论 -
航模 模拟器训练 航模入门
航模遥控器aux线 即两端都是耳机插头的线 解密狗电脑 phoenixRC 航模模拟软件(原创 2023-11-05 03:17:51 · 324 阅读 · 0 评论 -
flink1.18.0 自适应调度器 资源弹性缩放 flink帮你决定并行度
【代码】flink1.18.0 自适应调度器 flink帮你决定并行度。原创 2023-11-09 09:59:28 · 970 阅读 · 0 评论 -
flink1.15.2 报错 processElement_split
把if替换为case when语法。原创 2023-11-06 18:31:48 · 497 阅读 · 0 评论 -
flink写入starrocks报错 primary key size exceed the limit
原创 2023-11-03 13:47:31 · 592 阅读 · 0 评论 -
flink sql 毫秒转date ms转date
【代码】flink sql 毫秒转date ms转date。原创 2023-11-03 11:43:37 · 1140 阅读 · 0 评论 -
flink1.15 异步维表Join 用于外部数据访问的异步 I/O scala版本
resultFuture.complete() 个数远少于输入个数,或者说Future阶段报错,你没有处理报错,导致没数据输出,即没有output的个数统计.直接Future{} 框起来就行,需要注意的是 后续必须匹配 Filure并处理异常,如需抛出,请加上。问什么有官方文档,我还要写个博客,因为scala Future这块有坑.flink统计反压是根据输入个数 输出个数统计的,也就是你。2 为什么我的任务不报错,也没有输出。2 为什么我的任务不报错,也没有输出。1 为什么我的算子显示反压100%原创 2023-10-18 14:49:07 · 749 阅读 · 0 评论 -
mac电脑安装雷蛇管理软件,实现调整鼠标dpi,移动速度,灯光等
雷蛇官网只给了win版本驱动mac版本驱动到这里下载:安装后会显示开发者不明,请丢弃到垃圾桶.原创 2023-10-17 14:10:22 · 2752 阅读 · 0 评论 -
flink1.15 savepoint 超时报错 java.util.concurrent.TimeoutException
尝试 -Dflink.savepoint.timeout=300000 -Dakka.client.timeout=300000 都未解决超时问题,必须修改flink配置文件.修改 flink-conf.yaml。原创 2023-10-12 15:26:02 · 867 阅读 · 0 评论 -
docker 安装本地starrocks测试环境 DataGrip连接
Quick start: Deploy StarRocks with Docker @ deploy_in_docker @ StarRocks DocsQuick start: Deploy StarRocks with Docker @ deploy_in_docker @ StarRocks Docshttps://hub.docker.com/r/starrocks/allin1-ubuntu/tags?page=1原创 2023-09-27 11:53:19 · 1581 阅读 · 0 评论 -
flink1.15 sql 报错 implicit type conversion between BIGINT and CHAR is not supported now
sql中存在 bigint列 = 字符串 的等式。原创 2023-09-22 13:42:42 · 762 阅读 · 0 评论 -
starrocks新建clickhouse(jdbc)外部表 查询报错 JDBC result type is [java.math.BigInteger]
1 clickhouse中把类型转成常见类型 比如我这里uint64转换为 bigint.2 升级版本 最新版解决了这个bug。原创 2023-09-14 11:55:22 · 576 阅读 · 1 评论 -
flink MemoryStateBackend 和 RocksDBStateBackend 切换导致任务出现bug
RocksDBStateBackend 会多出序列化,反序列化 所以性能更差,但是他可以支撑很大的状态.原创 2023-09-12 13:56:03 · 285 阅读 · 0 评论 -
macos13 arm芯片(m2) 搭建hbase docker容器 并用flink通过自定义richSinkFunction写入数据到hbase
下载镜像。原创 2023-09-05 11:36:34 · 597 阅读 · 0 评论 -
flink1.17 实现 udf scalarFunctoin get_json_object 支持 非标准化json
相比官方的json_value,该函数支持非标准化json,比如v是个object,但是非标准json会外套一层引号,内部有反引号.支持value为 100L 这种java格式的bigint. {"k":999L}基于jsonPath 方便,可以获取多层级内部值。原创 2023-08-17 20:59:11 · 1254 阅读 · 0 评论 -
flinksql报错 Cannot determine simple type name “org“
使用自定义scalarFunction生成的值作为水位线 就会触发该bug.然后重启flink. 重新进入sql-client.即可。原创 2023-08-17 20:44:18 · 976 阅读 · 0 评论 -
flink sql报错 java.lang.NumberFormatException: For input string: ‘‘. Input is empty.
原因是类型转换报错.原创 2023-08-16 10:23:21 · 431 阅读 · 0 评论 -
hadoop3.3 50070端口起不来
注意linux关闭防火墙。原创 2023-08-12 12:36:05 · 368 阅读 · 0 评论 -
spark 图计算 助力解决 dataframe中的链式依赖
所有 节点 边 塞入 图计算框架通过框架api获取到所有子图,即连通分量,即独立的子图. 然后通过 入度 出度 可以识别出是不是首尾, 最后通过 联通分量聚合,借助udaf吧链式过程通过算法计算出来.原创 2023-08-12 04:22:42 · 380 阅读 · 0 评论 -
win11 idea spark 本地执行报错
at sparkgraphx.GraphFrames.Demo2.main(Demo2.scala)安装即可。原创 2023-08-12 04:17:17 · 719 阅读 · 0 评论 -
flinksql1.17 cast(... as int) 报错 java.lang.NumberFormatException: For input string: ‘null‘. Invalid
json中存在value为null,但是这里的null是字符串 "null"原创 2023-08-05 12:23:48 · 346 阅读 · 0 评论 -
flink1.17 json_tuple udf 实现
*尝试自定义函数制定返回数据的类型 成功*/),""".print()// 不适用stream的api则不需要executer// 输入的数据类型标注// 输出的数据类型标注// }.build()/*尝试自定义函数制定返回数据的类型 todo 失败*/),""".print()// 不适用stream的api则不需要executer// 输入的数据类型标注// 输出的数据类型标注// 注意: 这里从var1获取的size不能使用. 因为他在初始化之后.原创 2023-08-05 12:00:31 · 556 阅读 · 0 评论