Jason不在家的博客

一些特殊字符，可能也会报字段数量长度不对之类的，但其实如果不对早就报了，大概率是默认 csv 导入，特殊字符导致的问题。这种也是运行一会报错，报错中没有链接，光说 see more in null 的。可以调整一下写入方式，改为json，sink—doris 加个参数。task 一启动就会有明确的报错，直接调整即可。可以通过链接访问拿到报错日志，里面有错误信息。长度之类的问题，自己调整字段长度，或者过滤。一般都是主键、分区键有问题。

Flink 本地 idea 调试开启 WebUI

此类错误是找不到对应仓库导致的。

分别测试了 多线程、线城市、aio 等模式。AIO 效率最高，详见代码。AIO异步非阻塞IO。

【代码】MySQL 备份与恢复脚本。

删除 wsl 内的配置文件。

【代码】三分钟搭建在线文件管理器 FileBrowser。

python 3.7 以后可以使用 dataclass。python 3.7 以前使用 namedtuple。

其中 %40 是 @ 的urlencode ，最前面的 % 是对第二个 % 的转义。airflow 的配置文件中需要写MySQL、MQ的连接信息，很可能出现特殊字符。就以 sql_alchemy 的配置为例吧。

提交后driver后，driver 需要创建pod的权限，这里可以使用的是 serviceAccout 的权限，创建权限以及如何指定serviceAccount 参考 官网RBAC部分。spark on k8s 并不会启动一个常驻的集群，而是再 submit 提交任务时启动对应的pod作为driver 和 executor，任务结束后，这些pod 都会被释放。本地spark-submit 进程 创建pod时会将本地的spark配置作为configMap挂在到pod中。5. 实时任务则一直执行。

IDEA service/DashBoard 不显示 Spring Boot 服务端口号的一种可能性

spark sql 读取 json 文件 json 中存在 date 和 Date 字段下面的配置默认 False 解析查询不区分大小写，改为 True 之后就可以区分大小写，不报错了spark.conf.set(“spark.sql.caseSensitive”, “true”)...

Java / Scala对URL中的中文进行UrlEncode有些中文或者有空格的URL需要 encode 方能进行请求使用 java.net.URLEncoder 会把所有特殊字符都编码 不可行import java.net.{URL, URLEncoder}val url = "http://www.baidu.com/s=你好"URLEncoder.encode(url, St...

报错信息：org.apache.spark.SparkException: Failed to execute user defined function(anonfun$2: (array<double>) => double)Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedA...

INFO - Subtask: INFO - Exception in thread "main" java.net.SocketTimeoutExceptionINFO - Subtask: INFO - at org.apache.http.nio.protocol.HttpAsyncRequestExecutor.timeout(HttpAsyncRequestExecutor.java:...

Kudu 是一个基于 Raft 的分布式存储系统，它致力于融合低延迟写入和高性能分析这两种场景Kudu 提供了 table 的概念。用户可以建立多个 table，每个 table 都有一个预先定义好的 schema。Schema 里面定义了这个 table 多个 column，每个 column 都有名字，类型，是否允许 null 等。一些 columns 组成了 primary key。...

Kafka 的应用场景消息队列 Kafka有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。 行为跟踪和日志收集。 敏感操作和日志，都可以写到 kafka 里进行统一，分情况的监控、和分析流式处理，比如，kafka 和 storm 的对接，来实现流式处理 还有其他的需要面向业务需求和场景来具体分析，主要就是利...