其他
文章平均质量分 74
杂谈~
工作中的程序员
加油~
展开
-
快捷工具(提升工作效率)
提示:这里对文章进行总结:例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。原创 2024-07-14 10:18:19 · 257 阅读 · 0 评论 -
flink优化案例
CheckPoint说明:每个需要checkpoint的应用在启动时,Flink的JobManager为其创建一个CheckpointCoordinator,CheckpointCoordinator全权负责本应用的快照制作。CheckpointCoordinator周期性的向该流应用的所有source算子发送barrier;原创 2024-05-13 17:30:41 · 976 阅读 · 1 评论 -
flink sql 优化
不是所有job资源越堆越多好。有时作业的复杂或数据的特殊情况(外部系统性能除外,例如写数据库),增加资源只会让job性能越来越差或报错(亲身经历job性能差,特别痛苦,一直加资源性能还是差或运行报错)。需要不断找根源问题,多使用不同方法测试才能找到适合job的处理性能。如果优化很多次后job性能还是很差(资源给的很多性能还是不理想)(略增加一些资源)可以将一个job拆分两个job(将占用比较多的业务数据(50%更好)在新的job单独处理)原创 2024-05-05 20:14:13 · 2120 阅读 · 6 评论 -
使用工具速记
2).数字越小显示的越多(影响范围:浏览器的上边框宽窄,窗口的下面任务栏宽窄等)2).其他软件信息导入导出略。3).idea 不支持将之前打开项目记录导出。1).窗口单击右键->显示设置->缩放与布局。1).浏览器书签栏导出导入,网上很多,略。4).临时查询脚本不能导出(另存文件)3).导出的是sycs文件。2).选择要导的账号信息。原创 2024-04-26 11:44:43 · 364 阅读 · 0 评论 -
jar冲突与解决方式
提示:主要排查java冲突或解决jar包冲突。语言:java/scala。原创 2024-04-12 20:21:58 · 2052 阅读 · 0 评论 -
linux(centos7)安装
准备部分:软件镜像地址(阿里云):https://developer.aliyun.com/mirror/虚拟化镜像软件:wmware或VirtualBox连接工具:Xshell或windTerm本地电脑:windos11系统linux版本:centos71).wind本地电脑安装linux还是很简单的,没有什么难点2).上述安装linux7 是为安装docker和k8s做准备,因为linux6或低版本不支持k8s等软件。原创 2024-03-31 17:31:23 · 687 阅读 · 0 评论 -
Flink 内存梳理与遇到的问题修复
flink原创 2024-03-23 16:05:05 · 1043 阅读 · 0 评论 -
国家对应国家代码整理
国家编码对应关系整理原创 2024-02-28 16:13:14 · 674 阅读 · 0 评论 -
阿里云flink sql报错 List of column aliases must have same degree as table; table has 1 column
因为我这边使用flink的Row类做存放数据并返回给调用方collect(row),所以注解使用@DataTypeHint("ROW...等做指定输出类型。添加注解@DataTypeHint指定输入和输出类型(如下代码片段)使用阿里云 flink 全托管写UDTF时提交使用函数报错如下。代码提交后,阿里云 flink sql语法检查正常。原创 2024-02-23 11:14:44 · 626 阅读 · 0 评论