- 博客(400)
- 资源 (6)
- 收藏
- 关注
原创 Apache POI导出出现FontConfiguration中NULL
Apache POI 中使用SXSSFWorkbook出现Excel导出失败的NULL异常。
2025-11-29 11:36:13
1035
原创 【Flink实战】升级HDFS,对Flink SQL(On Yarn模式)的功能兼容性验证
Temporal Table Function 提供访问 Temporal Tables 在某一时间点的状态的能力。,将状态,checkpoints,savepoints等写入 file systems(HDFS)。验证在升级HDFS后,Flink在本身运行,以及涉及读写HDFS任务功能的兼容性。修改表的属性,官方示例没有说可以修改字段,可以验证一下。LOAD 语句用于加载内置的或用户自定义的模块。LOAD 语句用于加载内置的或用户自定义的模块。使用hdfs协议,指向HDFS的地址。
2025-10-24 19:53:11
1136
原创 【HDFS实战】HDFS 常用命令与Router连接
ls 命令可能读的是Editlog里面的时间。Fsimage里面的数据实际是有延迟的,hdfs操作的数据会先写入Editlog日志文件,hdfs会将旧的Fsimage文件与editlog文件合并形成新的fsimage。建立客户端连接,主要是将HDFS客户端的连接地址,从NN专向Router节点。若文件已经存在可以先删除后上传,也可以使用强行覆盖命令。实际结果不是这种展示方式,只是用图表进行示意。将文件上传至HDFS 并删除本地文件。删除HDFS上的文件夹下的东西。将本地文件上传至HDFS。
2025-10-24 18:01:21
445
原创 大模型业务领域应用落地探讨
上述两个大模型应用平台提供了核心的流程编排功能,可以实现可视化托拉拽的形式进行灵活的工作流设计。在验证AI应用化,可以带来实际的商用价值后,建议采用本地方式,保证数据的安全。对AI化的需求进行归类总结,进行产品化设计,将业务改革成AI化的产品。两种方式都需要使用大模型应用开发平台(如dify,coze),主要是打破不同模型供应商之间的壁垒,可以快速搭建大模型应用。结合主流模型,与上述的需求进行结合,分析出可以AI化的需求。根据不同需求选择不同模型,还要对比一下效果与费用。ConfyUI-批量做图神器。
2025-04-17 08:56:20
785
原创 【ES实战】治理项之索引模板相关治理
Elacticsearch索引模板治理。如何查询Flink on Yarn 模式下的Task Manager日志。
2025-01-26 18:38:15
1247
原创 封装echarts成vue component
为了减少一些公共代码和方便使用echarts的line图形,有限制条件的封装echats中的line类型的图,该Component名称为。定义了空数据的展示效果,舍弃了有数据状态下的。增加了窗口自适应写法,并确定初始化图标高度为。中需要先确认数据每条线显示的效果,即配置。来判断图形是否包含数据,意味着需要通过。属性,否则不能正常使用该。
2024-12-31 19:02:04
502
原创 【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
输出Kafka:huatuo_yarn_jmx_queue_metric。输出Kafka:huatuo_yarn_jmx_rm_metric。构建查询Active的RM中的核心指标Model。jmx中完整的bean中的name.key的值。一次性请求所有配置的指标。构造输出对象json。
2024-12-31 00:00:00
1854
原创 【Yarn】Yarn监控调研分析与实现设计
ResourceManager(Acticve状态)的JVM情况 (按时间序列)ResourceManager(Acticve状态)端口RPC情况(按时间序列)队列资源指标历史明细表(Doris明细模型)DUPLICATE KEY(RM指标信息历史明细表(Doris明细模型)DUPLICATE KEY(队列资源指标最新明细表(Doris主键模型)UNIQUE KEY(核心端口使用情况(操作数量,操作耗时,队列长度,连接数等)队列指标情况(按时间序列)队列指标情况(按时间序列)4.1写入Doris。
2024-12-30 23:30:00
2176
原创 Vue2集成Echarts使用案例
Vue2集成Echarts使用案例文章目录Vue2集成Echarts使用案例全局化echarts页面使用示例常用属性全局化echarts在main.js中引入echarts,并导出全局变量。import * as nativeEcharts from 'echarts';Vue.prototype.$nativeEcharts = nativeEcharts;页面使用示例<template> <div> <div id="line2"
2024-12-02 22:00:00
1072
原创 【Spark源码分析】规则框架-`optimization`阶段使用的规则
Finish Analysis: 对包括所有子查询在内的整个计划应用完成分析规则。操作优化的规则批 operatorOptimizationBatch。
2024-11-30 11:48:03
1181
1
原创 【Spark源码分析】规则框架- `analysis`分析阶段使用的规则
【代码】【Spark源码分析】规则框架- `analysis`分析阶段使用的规则。
2024-11-30 11:47:08
894
原创 【Spark源码分析】基于Spark3.4.2源码分析SparkSQL执行过程
** 为sql字符串创建逻辑计划 */// 获取构造器AstBuilder,将ParseTree转换为AST(visit模式)case _ =>command")// 将sql内容转换成字符流,并且转换成大写形式。词法解析器// 清空识别错误的监听器// ParseErrorListener将解析错误转换为 AnalysisException。ParseException继承AnalysisException。
2024-11-30 11:45:35
1812
Hive测试,可以基于TPC-H基准和TPC-DS基准
2025-09-09
基于SpringBoot3和JDK17,集成H2数据库和jpa
2024-06-01
java+告警采集通知
2024-05-29
JDK Linux一键安装脚本
2022-08-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅