weixin_45249411的博客

原创 Doris规范

3.2 没有办法分区的，数据又较快增长的，没办法按照时间动态分区，可以适当放大一下你的bucket数量，按照你的数据保存周期（180天）数据总量，来估算你的bucket数量应该是多少，建议还是单个bucket大小在1-3G。2.【强烈建议】不要使用Auto Bucket ，按照自己的数据量来进行分区分桶，这样你的导入及查询性能都会得到很好的效果，Auto Bucket 会造成 tablet 数量过多，造成大量小文件的问题。3.1 没有办法分区的，数据又缓慢增长的：单个tablet数据量保持在1-3G；

原创 IDEA远程调试Dinky

最近发现本地和服务器上同样的包但是服务器上的服务报错，特此debug点击RUN---edit configuration。

原创 StreamPark集成k8s运行Flink

1.然后在有docekr的机器上登录。2.设置下命名空间(左侧)

原创 Dinky1.1.0集成paimon0.9

原创 datasophon升级海豚调度为3.2.1

修改启动命令，添加jmx与datasophon-api模、模块servive_ddl.json的jmx端口保持一致。修改启动命令，添加jmx与datasophon-api模、模块servive_ddl.json的jmx端口保持一致。2、在worker-server的启动命令中添加api-server的jmx端口号。1、同api-server的修改一致，否则任务启动时无法找到hdfs路径文件。修改master-server的启动脚本。修改worker-server的启动脚本。

原创 逆向app 思路整理

使用小黄鸟Reqable即可,如果抓不到那就是代理被屏蔽了。3.Frida代码编写。

原创 JS hook

debugger 使用 Function.constructor / setInterval / eval。一般获取header中的参数。

原创 某平台小程序逆向思路整理

python调用解密即可。打断点进入这个加密的方法。

原创 记录dinky0.6.7+flink1.14.5集成问题

先说一句mmp，这个jar包冲突搞吐我。如果有遇到math3问题需要注意少个包。中配置好flink在hdfs上的lib目录。注意dinky0.6.7版本时的。

原创 yolov8训练初体验

最近在爬一些数据，有些网址的验证码比较难搞，于是使用yolov8来解决。

原创 空间验证码训练集获取

最近有个需求在爬取数据时碰到验证码。准备使用yolov8训练模型但没有训练集。基本就是这个大佬的代码：我稍作改动。

原创 Datasophon基于dinky1.0.1升级到dinky1.0.2

opt/datasophon目录原来有软链接指向/opt/datasophon/dinky-release-1.16-1.0.1。之后到服务器查看是否是1.0.2启动。jps -ml 查看dinky进程。我给取消了不知道影不影响。

原创 Datasophon1.2.1集成Dinky1.0.1

通过下图展示的url进去grafana配置图表，默认登陆账户密码：admin ：admin。回到datasophon的dinky服务，刷新即可在总览看到详细监控信息。进入datasophon-manager-1.2.1中。重启datasophon-manager的api。配置目录下添加配置模板。

原创 umi-ocr识别文件夹所有文件并导入数据库

最近有个需求是识别身份证所有信息。所以调用umi-ocr接口并写入mysql。

原创 Flink中流式的各种聚合

针对无界聚合算子，

原创 在Flink SQL中使用watermark进阶功能

在Flink SQL中使用watermark进阶功能在Flink1.18中对Watermark的很多进阶功能（比如watermark对齐）通过datastream api很容易使用。在sql中使用不是很方便，在Flink1.18中对这些功能进行扩展。在sql中也能使用这些功能。只有实现了接口的源连接器(source connector)（比如kafka、pulsar）才可以使用这些进阶功能。这些进阶的功能都可以使用dynamic table options或 hint进行配置，如果用户同时使用dynamic

原创 Flink1.18 如何配置算子级别的TTL

举例来说，假设一个 ETL 作业使用 ROW_NUMBER 进行去重操作后， 紧接着使用 GROUP BY 语句进行聚合操作。您可以为去重算子和聚合算子的状态分别设置不同的 TTL。双流 Join 会生成拥有两条输入边TwoInputStreamOperator的状态算子，它用到了两个状态，分别来保存来自左流和右流的更新。table.exec.state.ttl 来控制状态保留，因此它们的状态无法在算子级别进行配置。中，系统会根据两个数据流中元素的时间戳和定义的间隔来决定哪些元素应该被连接在一起。

原创 hive的kerberos记录

【代码】hive的kerberos记录。

原创 Apache celeborn 安装及使用教程

因为在配置文件中已经配置了master 所以启动matster和worker即可。

原创 对比pg主从库一致性

【代码】对比pg主从库一致性。

原创 k8s之flink的几种创建方式

在此之前需要部署一下私人docker仓库，教程注意：每台节点的daemon.json都需要配置并重启。

原创 dinky1.0 同步PG 时 修改数据类型

【代码】dinky1.0 同步PG 时 修改数据类型。

原创 k8s实战之ELK日志管理

【代码】k8s实战之ELK日志管理。

原创 Helm 包管理器

【代码】Helm 包管理器。

原创 k8s之身份认证与权限

Kubernetes 中提供了良好的多租户认证管理机制，如 RBAC、ServiceAccount 还有各种策略等。通过该文件可以看到已经配置了 RBAC 访问控制。

原创 k8s之高级调度

Pod 亲和力：将与指定 pod 亲和力相匹配的 pod 部署在同一节点。节点亲和力：进行 pod 调度时，优先调度到符合条件的亲和力节点上。Pod 反亲和力：根据策略尽量部署或不部署到一块。

原创 k8s之存储管理

使用 kubectl create configmap -h 查看示例，构建 configmap 对象。

原创 在k8s中部署nfs-client-provisioner

通过这个流程，nfs-client-provisioner 实现了动态创建和管理基于 NFS 的 PV，减轻了管理员的工作负担，同时使开发人员能够更轻松地使用动态的存储资源。需要注意的是，确保您在 PVC 和 StorageClass 的定义中提供正确的配置信息，以确保 nfs-client-provisioner 能够与 NFS 服务器正确交互。

原创 导入pgsql中的保存的html数据到hive时，换行符无法被repalce

最终发现可以使用chr(ASCII码) 可以匹配到，坑我好久。

原创 k8s之服务发布

Ingress 可以理解为也是一种 LB 的抽象，它的实现也是支持 nginx、haproxy 等负载均衡服务的。k8s会根据service关联到pod的podIP信息组合成一个endpoint。各环境访问名称统一、访问 k8s 集群外的其他服务、项目迁移。

原创 k8s之资源调度

startupProbe: #应用启动探针配置httpGet: #探测方式path: /index.html #探测路径#port: 80exec:command:- sh- -c- "sleep 4;failureThreshold: 3 #失败多少次才算失败periodSeconds: 10 #间隔时间successThreshold: 1 #多少次成功算成功timeoutSeconds: 5 #超时时间livenessProbe: #应用启动探针配置。

原创 kubectl 基本操作

【代码】kubectl 基本操作。

原创 k8s集群搭建

在部署集群之前，我已经有三台干净的机器(静态ip、防火墙关闭等)。之后采用kubesphere进行搭建。下边是我的kubesphere的创建文件。

转载 Ranger配置hive 插件报错解决Permission denied: user=rangerlookup, access=READ_EXECUTE, inode=“/”

引用至：Ranger配置hive 插件报错解决Permission denied: user=rangerlookup, access=READ_EXECUTE, inode=“/“-CSDN博客

原创 linkedin/coral编译

1.gradle安装如下：https://blog.csdn.net/lxh19930428/article/details/53869408。2.npm安装如下：https://blog.csdn.net/qq_42365082/article/details/127007958。如果是linux编译建议安装git，否则可能会报错。

原创 Trino连接配置了kerberos的hive

【代码】Trino连接配置了kerberos的hive。

原创 Flink TaskManager内存优化

在生产使用一段时间后发现 托管内存(默认是Total memory* 0.4)和网络开销内存(0.1)使用较少。所以选择降低这两部分的内存。

原创 HDFS启动后元数据报错解决

【代码】HDFS元数据报错解决。

原创 doris升级到2.0.1启动FE报错

FE 有可能因为某些原因出现无法启动 bdbje、FE 之间无法同步等问题。这时，我们需要手动操作来恢复 FE。手动恢复 FE 的大致原理，是先通过当前。如果你需要将当前已有的 FOLLOWER/OBSERVER 类型的 FE，变更为 OBSERVER/FOLLOWER 类型，请先按照前面所述的方式删除 FE，再添加对应类型的 FE 即可。命令，将之前的其他的 FE 从元数据删除后，按加入新 FE 的方式，重新把这些 FE 添加一遍。中的元数据，启动一个新的 MASTER，然后再逐台添加其他 FE。

原创 解析spark sql将数据血缘并导入datahub

由于我们是spark读取数据写入hudi 但是datahub自带的spark解析貌似不能解析。所以试图通过spline-spark-agent解析并导入datahub。