HD0do的博客

迪答数据数据分析从入门到进阶的必看书单！文末附所有200本书籍的PDF下载。

markdown文件语法总结

查看一个类所有的方法：alt + 7。SQL格式化：ctrl+alt+L。

如何实现python任务调度资源文件1.首先已经上传了对应的脚本资源文件2.引用资源文件 也可以参考博客：dolphinscheduler-2.0.5 Python任务使用记录（资源栏位）

在 Kubernetes 中创建工作负载时，您可以为 Pod 中的每一个容器指定其所需要的内存（RAM）大小和 CPU 数量。如果这些信息被指定了，Kubernetes 调度器可以更好的决定将 Pod 调度到哪一个节点。对于容器来说，其所需要的资源也将依据其指定的数值得到保证。

【代码】python 通过k8s API采集k8s 集群信息。

【代码】python 操作使用笔记。

idea源码使用技巧

File "/usr/local/lib/python2.7/dist-packages/xlrd-0.9.4-py2.7.egg/xlrd/compdoc.py", line 418, in _locate_stream raise CompDocError("%s corruption: seen[%d] == %d" % (qname, s, self.seen[s]))xlrd.compdoc.CompDocError: Workbook corruption: seen[2] == 4

DDL语句1.修改字段注释，字段类型alter table dev_dws.dws_transaction_data_h modify column order_cnt bigint comment '下单单数'

Flink SQL 实现读写redis，并动态生成Hset key

Flink CDC mongoDB 使用及Flink sql解析monggo中复杂嵌套JSON数据实现

最近公司用到了spark读写doris，因为doris其实就是mysql协议，在读取数据时候速度还是可以的，但是写入时候就发生了数据写入特别慢，几千条的数据甚至要用几十分钟，这不是可以接受的。经过调研查询发现因为连接参数没有指定，数据都是单条写入，改造前写入方式： userLogDF .write .format("jdbc") .mode(SaveMode.Append) .option("dr

了解spark读写doris两种方案实现及doris官方文档更新介绍，更多埋点会话id切分文章参考

k8s使用笔记总结

docker命令学习，及学习框架梳理资料获取

doris对接kafka，消费kafka数据到doris中方案实现

Doris实践使用建表，模型选择，分区使用，分桶使用，各内置实践函数问题总结

Doris数据模型和数据分区使用详解，实现Doris动态分区