yy的博客

原创 酷热指数 python公式计算

【代码】酷热指数 python公式计算。

原创 吉利银河L6之毫米波雷达 and 并线辅助

/ 我京东买的77GHZ 有两个毫米波角雷达。

原创 spark3 flink1.19 配置paimon0.9 jdbc metastore

注意uri加引号:use paimon;

原创 吉利银河L6 AQS空气质量监控系统

顶配才有AQS开启空调且auto模式 则默认开启AQS 无法关闭AQS。

原创 吉利银河L6(官方小订送的3M) 对比 威固vk70+ks15

/ 忘记测反射的热量了 可以验证金属膜是反射热而不是吸热。

原创 spark sql 报错 LEGACY store assignment policy is disallowed in Spark data source V2. Please set the co

spark.conf.set("spark.sql.storeAssignmentPolicy", "ANSI")

原创 flink1.18 paimon0.8 paimon作为source的指标

仅供参考。

原创 apache paimon在flink中做维表join的优势

下载源码自己看下 有些错的请帮忙提示我# 核心参数- AUTO //默认值- Auto mode, try to use partial mode. //部分更新模式.- FULL- Use full caching mode //rocksdb存全量,可规避常规look up join的缓存穿透# 维表join 入口分类逻辑 PrimaryKeyPartialLookupTable|PrimaryKeyLookupTable 的 open。

原创 spark3.5.1 thriftserver paimon0.9 Datagrip

启动spark thriftserver(支持paimon) 并使用Datagrip。

原创 本地spark3.5(不整合hive) 集成paimon0.9

spark官网下载集成hadoop的spark包: spark-3.5.1-bin-hadoop3....解压后 环境变量配置 SPARK_HOMEspark-defaults.conf 中增加一行配置(避免启动spark-sql报错hive元数据连不上): spark.sql.catalogImplementation=hive打开paimon官网: https://paimon.apache.org/docs/master/spark/quick-start/paimon-spark-3.

原创 spark 本地模式 standalone模式 配置spark-sql的资源

原创 杭州 临安-大鱼线-天石滩(大石瀑布附近) 全景图

--

原创 富阳区石弹村全景图-没拍到景点内容

建议雨后去 整个山到处都是消息 整座山都在渗水。石梯山庄旁停车场拍摄。

原创 浙江省 杭坞山游步道 全景图

-

原创 带状疱疹科普

注意事项:吃药前需要做抽血检查肾功能,肾功能不好不建议吃该药物.

原创 spark3 sparksql 使用变量 sql中对结果cache 固定/缓存current_timestamp()等函数结果值

疑似bug。

原创 spark-sql null in ‘not in‘ 注意事项

如果配合case when 注意涵盖 字段 is null的场景。

原创 jdk17 lombok @Synchronized 使用注意事项

【代码】jdk17 lombok @Synchronized 使用注意事项。

原创 flink1.18.0 流转表 表转流 jdk17 attachAsDataStream

流表互转 而且流sink 表sink同时存在且都可以输出.

原创 flink1.18.0 jdk17 报错 Unable to make field private final java.lang.Object[] java.util.Arrays$ArrayLis

flink

原创 杭州 鸬鸟山-千亩杜鹃 航拍 全景图

https://720yun.com/vr/16ajzztkvk6 ----------------------------

原创 python anaconda pip导入包 跨linux用户后不可用

用户a pip导入的包, 用户b看不到,会报错包不存在.

原创 铭凡V3三合一平板 8840U处理器 多核心性能

原创 flink sql 报错 Unexpected error in InitProducerIdResponse； The transaction timeout is larger than the

'properties.transaction.timeout.ms' = '600000' -- 10min 还报错就继续调小,或者看下kafka配置。

原创 flinksql 写入kafka csv json raw等区别对比

【代码】flinksql 写入kafka csv json raw等区别对比。

原创 idea maven 每次reimport之后 scala就需要重新手动加入项目中

【代码】idea maven 每次reimport之后 scala就需要重新手动加入项目中。

原创 pyflink1.18.0 keyby之后使用自定义keyedProcessfunction报错

所有怀疑点都不是问题 最后让环境问题接锅。

原创 flink1.18.0 自定义函数 接收row类型的参数

现在需要编写 tableFunction 需要接受的参数如上。

原创 flink1.18.0报错 an implicit exists from scala.Int =＞ java.lang.Integer, but

【代码】flink1.18.0报错 an implicit exists from scala.Int =＞ java.lang.Integer, but。

原创 miniconda 生成python虚拟环境步骤

【代码】miniconda 生成python虚拟环境步骤。

原创 pyflink1.18.0 报错 TypeError: cannot pickle ‘_thread.lock‘ object

1 放到 jobmanager初始化后 taskmanager拉一遍。2 起个单独的http服务供pyflink调用。

原创 python调用jar中java方法 静态类为例

【代码】python调用jar中java方法 静态类为例。

原创 macos m1 arm芯片 使用jpype报错 FileNotFoundError: [Errno 2] JVM DLL not found

安装arm版本python即可 我这里安装的miniconda。

原创 pip安装pyapollo

python -m pip install https://github.com/filamoon/pyapollo/archive/refs/heads/master.zip

原创 不修改模型环境变量中的python,实现安装miniconda并新建虚拟环境导入pip包

【代码】不修改模型环境变量中的python,实现安装miniconda并新建虚拟环境导入pip包。

原创 macos arm(m1) 安装miniconda 的docker容器

【代码】macos arm(m1) 安装miniconda 的docker容器。

原创 pyflink processfunction 返回类型问题

返回单列返回多列

原创 某u盘 对比 sd卡+读卡器

支持USB3 gen2 的 USBA接口(u盘用) 和 typec接口(读卡器用)

原创 pyflink1.18 keyedProcessFunction 中,如何返回数据

原创 python实现类似java中guava功能,提供缓存容量,过期时间,cacheLoader函数

【代码】python实现类似java中guava功能,提供缓存容量,过期时间,cacheLoader函数。