yy的博客

比如flink中定期后台更新小维表到内存中。

【代码】mermaid绘制神经网络。

如果只是小组内使用 不想共用密码 也不想搞复杂认证方案 那么就直接通过map(用户名,密码md5值)来制定密码。

【代码】aws sagemaker api 获取/删除 endpoints。

编辑生成的配置文件: jupyterhub_config.py。修改这两个常见容易冲突的port即可。

Cannot have more than one execute() or executeAsync() call in a single environment

paimon解决-U的的方式是增加normalize算子,存储老数据再state中,比对后可补齐-U,所以成本高 可配置 scan.remove-normalize 取消,同时导致没-U。如果没关闭normalize算子,先发-U(小王,18,100) 再发+U(小王,18,300) 那么结果就是 18,(103-100+300)=303 这才是正确值.normalize算子开启(flink state存老数据 注意ttl要永久,否则部分-U也会丢): sink: +I -U +U -D。

【代码】scalatest 之 数组 contains。

【代码】scalatest之 参数化测试。

【代码】scalatest scalamock 之 mock案例。

【代码】scalatest 实战 expects onCall 指定参数限制 制定参数和返回值关系。

/ 数组L 替换为数字 但是字符串中的不能替换。

• validationQuery=SELECT 1：执行简单的 SQL 查询来测试连接。• testOnBorrow=true：每次获取连接时测试连接是否有效。

udf测试 flinkc程序测试。

基础镜像: https://hub.docker.com/_/flink/tags?flink 开始做checkpoint写入google云存 就会触发报错。升级到flink1.18.1。

写入paimon 会从语法上检测主键字段是否非空,如果函数或者字段可能为空,则报错如上。借助nvl 返回值非空的逻辑规避。

在需要传输的文件 hadoop.tar.gz目录下执行: python3 -m http.server 18000。在需要保留到的文件夹下执行: wget。不需要写代码 shell执行即可。

【代码】酷热指数 python公式计算。

/ 忘记测反射的热量了 可以验证金属膜是反射热而不是吸热。

下载源码自己看下 有些错的请帮忙提示我# 核心参数- AUTO //默认值- Auto mode, try to use partial mode. //部分更新模式.- FULL- Use full caching mode //rocksdb存全量,可规避常规look up join的缓存穿透# 维表join 入口分类逻辑 PrimaryKeyPartialLookupTable|PrimaryKeyLookupTable 的 open。

流表互转 而且流sink 表sink同时存在且都可以输出.

flink

https://720yun.com/vr/16ajzztkvk6 ----------------------------

用户a pip导入的包, 用户b看不到,会报错包不存在.

'properties.transaction.timeout.ms' = '600000' -- 10min 还报错就继续调小,或者看下kafka配置。

【代码】flinksql 写入kafka csv json raw等区别对比。

所有怀疑点都不是问题 最后让环境问题接锅。

现在需要编写 tableFunction 需要接受的参数如上。

【代码】flink1.18.0报错 an implicit exists from scala.Int =＞ java.lang.Integer, but。

【代码】miniconda 生成python虚拟环境步骤。

1 放到 jobmanager初始化后 taskmanager拉一遍。2 起个单独的http服务供pyflink调用。

【代码】python实现类似java中guava功能,提供缓存容量,过期时间,cacheLoader函数。

【代码】linux arm 环境 编译安装python3.9。

【代码】flink1.18 sink clickhouse 迁移 sink starrocks 参考案例。

starrocks实现clickhouse中的CountResample函数

优化前 mysql响应慢,导致算子中数据输出追不上输入,导致显示cpu busy:100%优化后效果两个图对应两个时刻:--guava图中guava cache命中率是通过guava自带统计,打印出来的.缓存越久 命中率越高 数据越陈旧 这个需要结合业务和命中率综合考虑