自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 收藏
  • 关注

原创 医疗数据标签开发复盘:标签主体选错问题排查、处理全流程与经验总结

在标签开发时,我在配置标签环节不小心选错了标签主题,并且已经按照这个错误配置,跑完了2026年1月到当前日期的全部标签数据,结果也已经写到对应的标签表里。虽然底层的原始业务数据没有受影响,但错误的标签字段和口径会影响后续对账、交付和业务使用,自己一开始不太确定怎么改才规范、不会把数据搞乱,于是及时请教了带我的师姐,在师姐指导下完成了完整修复。5. 新建正确标签并重新开发按照正确的标签主题重新在中台建标签,沿用之前验证过的逻辑,重新执行开发任务,把2026年1月至今的数据重新跑了一遍。

2026-04-20 18:17:31 163

原创 医疗大数据实战复盘:处方代煎数据上传失败问题排查全流程

本次复盘基于医疗大数据实际业务场景,针对处方数据未上传、前端无法查询到对应处方信息的问题,完整还原从问题发现、表数据校验、SQL逻辑排查到业务定位的全流程,适合个人工作复盘总结。五、问题解决与处理 根据业务规范手册,针对单据类型开具错误的问题,按照既定流程完成修正处理,修正后重新同步数据,前端可正常查询到该处方的代煎、病历信息,问题闭环。系统中存在处方未正常上传的问题,前端页面查询对应处方代煎、病历数据时,无法获取到目标处方信息,仅能定位到存在异常的处方单号,需要从数据层排查根因。

2026-04-20 17:59:57 237

原创 Flink实时数仓DIM层HBase表为空问题排查全记录

项目整体数据链路为:MySQL业务库 → Maxwell CDC → Kafka ODS层 → Flink流处理 → HBase维度层。DIM层负责将用户、商品、地区等维度数据同步至HBase,为后续DWS层实时计算提供维度关联支撑。在开发过程中出现:Maxwell同步正常、Flink任务启动无报错,但HBase维度表始终为空、无数据写入的问题。本次问题基于Flink实时数仓项目DIM层开发场景。

2026-04-12 23:21:29 398

原创 /bin/bash^M: 坏的解释器!问题解决

这几天在配置可执行脚本时常出现’/bin/bash^M: 坏的解释器!'这个问题,虽然是小问题但是确实见久了也会让人很烦!(前提是你跟我一样喜欢用windows上的编辑器复制脚本内容进到Linux 的文件中会常遇到,这边建议还是就在Linux 里面用文本编辑器,现在我已经老实了再也不用了)sed -i ‘s/\r//g’ /home/hadoop/bin/f1.sh(这里改成你的位置和对应脚本名字)脚本是 Windows 换行符,Linux 不认,直接炸!终极修复命令(不用 sudo,一定成功)

2026-04-12 07:14:37 35

原创 Kafka集群Node disconnected排查全记录

一、问题现象搭建3节点Kafka集群(master、slave1、slave2),启动后日志疯狂刷屏报错,核心报错信息如下:plain text[2026-04-11 15:13:09,594] INFO [Controller id=0, targetBrokerId=2] Node 2 disconnected. (org.apache.kafka.clients.NetworkClient)[2026-04-11 15:13:09,594] INFO [Controller id=0, targe

2026-04-11 22:52:51 397

原创 Flink集群启动失败完整排查过程(含踩坑与解决方案)

问题现象:执行start-cluster.sh后,控制台提示“Starting taskexecutor daemon on host slave1/slave2”,但登录slave1、slave2执行jps,仅能看到Jps进程,无TaskManagerRunner(TaskManager启动后秒退);但确认“架构修改”本身逻辑正确,排除架构冲突导致问题。3.slave1、slave2节点的flink-conf.yaml保持不变(taskmanager.host分别为slave1、slave2)。

2026-04-11 22:35:57 344

原创 医疗数据报表无数据问题完整排查复盘

select check_item_name, doctor_name from biz.biz_medical_record_xxx where dept_name='超声门诊'超声门诊科室相关的业务报表,在展示检查项目名称、执行医生这两个关键字段时,完全无数据展示,前端页面一片空白,客户直接反馈该报表无法正常使用,影响业务查看与核对。我按照同事建议,把医嘱表( ods_hbos_diagnosis_treatment_dtc_doctor_order )加入关联,重新查询。

2026-04-09 22:02:38 330

原创 医疗数仓实战|出院转归标签开发全空问题排查与解决复盘(主要是上一个文章开发标签跑成功但最后结果显示为null的处理解决)

本次排查与解决过程,让我深刻认识到:数仓开发并非单纯的SQL编写,而是技术逻辑、业务理解、行业特性的三者深度结合,同时标准化的开发规范、高效的团队协作,是高效完成开发任务、保证数据质量的重要保障。后续将基于本次经验,整理医疗数仓核心业务表关联与开发手册,为团队同类开发提供参考,提升整体开发效率。放弃ODS层原始表,更换为同Biz层级的标准化病案主表作为转归数据来源表(该表已完成业务清洗,字段含义统一,与费用明细表为同一数据层级),直接从该表提取标准化转归数字编码字段(无需解析JSON),重构关联逻辑。

2026-04-08 12:26:00 343

原创 医疗数据中台实习实战|出院患者转归情况标签开发全流程复盘

使用 数据入仓时间(etl_time) 作为筛选条件,每天只跑新增数据,提升效率。- 全量重跑用业务时间(discharge_date):按出院日期回溯,贴合业务。5. 数仓开发不只是写SQL,更是理解业务、表结构、数据链路的整体过程。2. 标签主体必须与报表FROM表保持一致,这是数仓开发的关键原则。标签主体必须以报表最终FROM的底层表为准,而不是字段来源表。本次报表是费用维度报表,FROM表是病案费用表,- 标签主键:使用费用表主键,保证与报表粒度一致。

2026-04-08 09:27:01 43

原创 医疗数据指标异常排查|手术量上涨但麻醉费用增长不明显问题复盘

业务老师反馈数据异常:3月份手术室手术量相比2月份增加了25台,但麻醉费用增长极其不明显,其他费用指标均正常上升,只有麻醉费用走势异常。为了弄明白原有统计逻辑,我开始逐一拆解报表中的过滤条件,并手动写简单查询语句来验证每个字段、每个编码的真实含义。我第一时间进入BI报表编辑器,不只看手术量和麻醉费用,还对比了报表上的其他所有费用指标。业务端没有及时维护绩效科目归类,导致新的麻醉费用无法被统计,所以指标才不动。不要一上来就看代码,先确认数据,再沟通业务,最后再分析技术逻辑。

2026-04-07 20:03:42 176

原创 数仓实习实战|袋鼠云任务跑失败?字段长度超限问题排查与解决 

感觉自己快嘎了,明明代码没有问题,以为是空格导致解析乱码,结果还去删了空格也不行,询问师哥折腾了一会儿终于解决,把完整排查思路和处理方式记录下来。原来建表时,这个字段定义的长度是有限制的,比如设置为 VARCHAR(3000),但实际业务产生的数据长度远超这个范围,本次出现问题的数据长度甚至达到了3687,导致插入数据库时直接截断报错。查看日志后定位到是字段插入异常,表结构和清洗逻辑都是之前配置好的,突然跑不通过,一开始还以为是数据波动,后来查看日志才发现是字段长度的坑。这是最稳妥、最常用的方式。

2026-04-07 12:51:21 183

原创 数仓实习实战|医疗报表电话指标缺失,完整上游排查思路 

如果确认关联、字段都没问题,再往更底层的数仓表追溯,找到数据从哪一层开始丢失,这样定位效率最高,也不会乱改乱动。直接选一个档案里确定有电话的患者,用姓名+ID精准过滤,只盯着这一条数据查,所有判断都围绕它展开,这是最稳的方式。排查到最后发现,问题并不在报表SQL的关联逻辑上,而是用来生成电话指标的BIT层底层电话表,本身就没有这条患者的联系方式。顺着SQL里的关联关系,从报表用到的表,依次查患者信息表、患者电话表,看哪一层开始没有电话数据。如果有值,说明只是脚本没把字段加进去,或者前端没配置展示;

2026-04-02 18:43:55 54

原创 医疗BI报表指标不一致问题排查实战

本次报表指标不一致并非SQL逻辑错误或数据质量问题,而是报表固化跑批任务执行异常,导致两张报表数据更新不同步,业务方查看时出现临时差异。遇到同类报表对账问题,遵循**“先粗后细、先总数后明细、先业务后技术”**的思路,不盲目逐行核对,高效定位问题。业务方反馈,数据中台两张门诊检查费用类报表指标不一致。其他指标仅快速扫一眼总数,判断是单指标异常还是全表异常,不做冗余核对。5. 查看任务执行记录,确认其中一张报表固化任务执行异常,未正常跑数。只聚焦业务方反馈的异常指标,先核对两张报表该指标全院汇总值是否一致。

2026-04-02 12:06:51 235

原创 医疗大数据指标异常排查:挂号人次与接诊人次差异分析

医院信息科反馈:挂号人次与接诊人次数据差异较大,需要定位原因并给出合理解释。根本原因是:接诊来源不仅包含挂号,还包含无挂号补费、补录等业务场景,且接诊允许多次计数。根据 SQL 逻辑,将门诊挂号表、就诊表、病历表进行关联查询,核对每一条记录的来源与类型。进入指标管理模块,查看该指标底层计算 SQL,理解数据来源、关联逻辑、过滤条件。通过关联查询与数据校验,发现核心原因:接诊人次并不完全来自挂号记录。3、掌握多表关联(挂号表、就诊表、病历表)分析数据来源的方法。会计入接诊人次,但不会计入挂号人次。

2026-04-01 20:01:21 53

原创 医疗大数据数据上报失败问题完整排查复盘

业务方反馈,在对外数据上报过程中,存在一条处方数据未成功上报,客户平台无法查询到该记录。ETL 脚本中发药类型枚举值硬编码不全,未兼容业务新增的03(免煎)类型,导致符合业务要求的数据被错误过滤,造成数据丢失与上报失败。异常处方的发药类型为 03(免煎),不在原有过滤范围内,被直接过滤,导致子表无数据,最终上报失败。1、掌握了 ODS-ADS-MySQL 全链路数据排查方法,具备完整数据问题定位能力。初步判断:主表数据正常到达 ADS 层,问题出在子表数据未生成,导致最终上报缺失。

2026-04-01 19:55:19 245

原创 解决在主节点配置好 Kafka 集群启动脚本,运行有显示但是无进程的问题

其中,master slave1 slave2是我的三台虚拟机主机名,usr/local/kafka/config/kraft/server.properties,是我的kafka中server.properties配置文件的绝对路径但是在使用命令 kf.sh start启动时,显示三个节点的 Kafka 已经启动,但是 jps 查看却没有进程。无论是登录式还是非登录式 Shell,都会读取此文件。(7)~/.bash_profile:用户登录时读取的配置文件,非登录式 Shell 不会忽略它。

2025-04-10 19:40:02 1612

原创 错误:找不到或加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher

最后配置/usr/local/spark/conf/spark-defaults.conf 文件,配置语句为: spark.yarn.jars hdfs://master:9000/user/hadoop/jars/*.jar,其中 master为你的主机名,/user/hadoop/jars 为 jar 包在 HDFS 上的位置。解决办法:配置 spark 中的 spark-defaults.cof中的 spark.yarn.jars,配置 yarn 模式下 spark 运行的jar 包。

2025-03-29 15:54:51 1006

原创 执行sqoop 命令将HDFS文件导入到MYSQL中的时候出现/bin/bash: /bin/java: 没有那个文件或目录报错解决方案

ln -s /usr/local/jdk1.8/bin/java /bin/java (权限不够时候➕sudo)创建软链接,左边 /usr/local/jdk1.8/bin/java 是你自己原来的 Java 的安装路径,右边 /bin/java这是软链接将要创建的位置和名称,创建完成后,当你在任何地方运行Java命令时,系统都会找到/bin下的java文件,然后执行他,执行这个命令后,无论你在系统的哪个位置,只要/bin在你的PATH环境变量中,你可以通过Java命令来启动Java虚拟机.

2024-12-31 00:33:41 1623 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除