- 博客(18)
- 收藏
- 关注
原创 医疗数据标签开发复盘:标签主体选错问题排查、处理全流程与经验总结
在标签开发时,我在配置标签环节不小心选错了标签主题,并且已经按照这个错误配置,跑完了2026年1月到当前日期的全部标签数据,结果也已经写到对应的标签表里。虽然底层的原始业务数据没有受影响,但错误的标签字段和口径会影响后续对账、交付和业务使用,自己一开始不太确定怎么改才规范、不会把数据搞乱,于是及时请教了带我的师姐,在师姐指导下完成了完整修复。5. 新建正确标签并重新开发按照正确的标签主题重新在中台建标签,沿用之前验证过的逻辑,重新执行开发任务,把2026年1月至今的数据重新跑了一遍。
2026-04-20 18:17:31
163
原创 医疗大数据实战复盘:处方代煎数据上传失败问题排查全流程
本次复盘基于医疗大数据实际业务场景,针对处方数据未上传、前端无法查询到对应处方信息的问题,完整还原从问题发现、表数据校验、SQL逻辑排查到业务定位的全流程,适合个人工作复盘总结。五、问题解决与处理 根据业务规范手册,针对单据类型开具错误的问题,按照既定流程完成修正处理,修正后重新同步数据,前端可正常查询到该处方的代煎、病历信息,问题闭环。系统中存在处方未正常上传的问题,前端页面查询对应处方代煎、病历数据时,无法获取到目标处方信息,仅能定位到存在异常的处方单号,需要从数据层排查根因。
2026-04-20 17:59:57
237
原创 Flink实时数仓DIM层HBase表为空问题排查全记录
项目整体数据链路为:MySQL业务库 → Maxwell CDC → Kafka ODS层 → Flink流处理 → HBase维度层。DIM层负责将用户、商品、地区等维度数据同步至HBase,为后续DWS层实时计算提供维度关联支撑。在开发过程中出现:Maxwell同步正常、Flink任务启动无报错,但HBase维度表始终为空、无数据写入的问题。本次问题基于Flink实时数仓项目DIM层开发场景。
2026-04-12 23:21:29
398
原创 /bin/bash^M: 坏的解释器!问题解决
这几天在配置可执行脚本时常出现’/bin/bash^M: 坏的解释器!'这个问题,虽然是小问题但是确实见久了也会让人很烦!(前提是你跟我一样喜欢用windows上的编辑器复制脚本内容进到Linux 的文件中会常遇到,这边建议还是就在Linux 里面用文本编辑器,现在我已经老实了再也不用了)sed -i ‘s/\r//g’ /home/hadoop/bin/f1.sh(这里改成你的位置和对应脚本名字)脚本是 Windows 换行符,Linux 不认,直接炸!终极修复命令(不用 sudo,一定成功)
2026-04-12 07:14:37
35
原创 Kafka集群Node disconnected排查全记录
一、问题现象搭建3节点Kafka集群(master、slave1、slave2),启动后日志疯狂刷屏报错,核心报错信息如下:plain text[2026-04-11 15:13:09,594] INFO [Controller id=0, targetBrokerId=2] Node 2 disconnected. (org.apache.kafka.clients.NetworkClient)[2026-04-11 15:13:09,594] INFO [Controller id=0, targe
2026-04-11 22:52:51
397
原创 Flink集群启动失败完整排查过程(含踩坑与解决方案)
问题现象:执行start-cluster.sh后,控制台提示“Starting taskexecutor daemon on host slave1/slave2”,但登录slave1、slave2执行jps,仅能看到Jps进程,无TaskManagerRunner(TaskManager启动后秒退);但确认“架构修改”本身逻辑正确,排除架构冲突导致问题。3.slave1、slave2节点的flink-conf.yaml保持不变(taskmanager.host分别为slave1、slave2)。
2026-04-11 22:35:57
344
原创 医疗数据报表无数据问题完整排查复盘
select check_item_name, doctor_name from biz.biz_medical_record_xxx where dept_name='超声门诊'超声门诊科室相关的业务报表,在展示检查项目名称、执行医生这两个关键字段时,完全无数据展示,前端页面一片空白,客户直接反馈该报表无法正常使用,影响业务查看与核对。我按照同事建议,把医嘱表( ods_hbos_diagnosis_treatment_dtc_doctor_order )加入关联,重新查询。
2026-04-09 22:02:38
330
原创 医疗数仓实战|出院转归标签开发全空问题排查与解决复盘(主要是上一个文章开发标签跑成功但最后结果显示为null的处理解决)
本次排查与解决过程,让我深刻认识到:数仓开发并非单纯的SQL编写,而是技术逻辑、业务理解、行业特性的三者深度结合,同时标准化的开发规范、高效的团队协作,是高效完成开发任务、保证数据质量的重要保障。后续将基于本次经验,整理医疗数仓核心业务表关联与开发手册,为团队同类开发提供参考,提升整体开发效率。放弃ODS层原始表,更换为同Biz层级的标准化病案主表作为转归数据来源表(该表已完成业务清洗,字段含义统一,与费用明细表为同一数据层级),直接从该表提取标准化转归数字编码字段(无需解析JSON),重构关联逻辑。
2026-04-08 12:26:00
343
原创 医疗数据中台实习实战|出院患者转归情况标签开发全流程复盘
使用 数据入仓时间(etl_time) 作为筛选条件,每天只跑新增数据,提升效率。- 全量重跑用业务时间(discharge_date):按出院日期回溯,贴合业务。5. 数仓开发不只是写SQL,更是理解业务、表结构、数据链路的整体过程。2. 标签主体必须与报表FROM表保持一致,这是数仓开发的关键原则。标签主体必须以报表最终FROM的底层表为准,而不是字段来源表。本次报表是费用维度报表,FROM表是病案费用表,- 标签主键:使用费用表主键,保证与报表粒度一致。
2026-04-08 09:27:01
43
原创 医疗数据指标异常排查|手术量上涨但麻醉费用增长不明显问题复盘
业务老师反馈数据异常:3月份手术室手术量相比2月份增加了25台,但麻醉费用增长极其不明显,其他费用指标均正常上升,只有麻醉费用走势异常。为了弄明白原有统计逻辑,我开始逐一拆解报表中的过滤条件,并手动写简单查询语句来验证每个字段、每个编码的真实含义。我第一时间进入BI报表编辑器,不只看手术量和麻醉费用,还对比了报表上的其他所有费用指标。业务端没有及时维护绩效科目归类,导致新的麻醉费用无法被统计,所以指标才不动。不要一上来就看代码,先确认数据,再沟通业务,最后再分析技术逻辑。
2026-04-07 20:03:42
176
原创 数仓实习实战|袋鼠云任务跑失败?字段长度超限问题排查与解决
感觉自己快嘎了,明明代码没有问题,以为是空格导致解析乱码,结果还去删了空格也不行,询问师哥折腾了一会儿终于解决,把完整排查思路和处理方式记录下来。原来建表时,这个字段定义的长度是有限制的,比如设置为 VARCHAR(3000),但实际业务产生的数据长度远超这个范围,本次出现问题的数据长度甚至达到了3687,导致插入数据库时直接截断报错。查看日志后定位到是字段插入异常,表结构和清洗逻辑都是之前配置好的,突然跑不通过,一开始还以为是数据波动,后来查看日志才发现是字段长度的坑。这是最稳妥、最常用的方式。
2026-04-07 12:51:21
183
原创 数仓实习实战|医疗报表电话指标缺失,完整上游排查思路
如果确认关联、字段都没问题,再往更底层的数仓表追溯,找到数据从哪一层开始丢失,这样定位效率最高,也不会乱改乱动。直接选一个档案里确定有电话的患者,用姓名+ID精准过滤,只盯着这一条数据查,所有判断都围绕它展开,这是最稳的方式。排查到最后发现,问题并不在报表SQL的关联逻辑上,而是用来生成电话指标的BIT层底层电话表,本身就没有这条患者的联系方式。顺着SQL里的关联关系,从报表用到的表,依次查患者信息表、患者电话表,看哪一层开始没有电话数据。如果有值,说明只是脚本没把字段加进去,或者前端没配置展示;
2026-04-02 18:43:55
54
原创 医疗BI报表指标不一致问题排查实战
本次报表指标不一致并非SQL逻辑错误或数据质量问题,而是报表固化跑批任务执行异常,导致两张报表数据更新不同步,业务方查看时出现临时差异。遇到同类报表对账问题,遵循**“先粗后细、先总数后明细、先业务后技术”**的思路,不盲目逐行核对,高效定位问题。业务方反馈,数据中台两张门诊检查费用类报表指标不一致。其他指标仅快速扫一眼总数,判断是单指标异常还是全表异常,不做冗余核对。5. 查看任务执行记录,确认其中一张报表固化任务执行异常,未正常跑数。只聚焦业务方反馈的异常指标,先核对两张报表该指标全院汇总值是否一致。
2026-04-02 12:06:51
235
原创 医疗大数据指标异常排查:挂号人次与接诊人次差异分析
医院信息科反馈:挂号人次与接诊人次数据差异较大,需要定位原因并给出合理解释。根本原因是:接诊来源不仅包含挂号,还包含无挂号补费、补录等业务场景,且接诊允许多次计数。根据 SQL 逻辑,将门诊挂号表、就诊表、病历表进行关联查询,核对每一条记录的来源与类型。进入指标管理模块,查看该指标底层计算 SQL,理解数据来源、关联逻辑、过滤条件。通过关联查询与数据校验,发现核心原因:接诊人次并不完全来自挂号记录。3、掌握多表关联(挂号表、就诊表、病历表)分析数据来源的方法。会计入接诊人次,但不会计入挂号人次。
2026-04-01 20:01:21
53
原创 医疗大数据数据上报失败问题完整排查复盘
业务方反馈,在对外数据上报过程中,存在一条处方数据未成功上报,客户平台无法查询到该记录。ETL 脚本中发药类型枚举值硬编码不全,未兼容业务新增的03(免煎)类型,导致符合业务要求的数据被错误过滤,造成数据丢失与上报失败。异常处方的发药类型为 03(免煎),不在原有过滤范围内,被直接过滤,导致子表无数据,最终上报失败。1、掌握了 ODS-ADS-MySQL 全链路数据排查方法,具备完整数据问题定位能力。初步判断:主表数据正常到达 ADS 层,问题出在子表数据未生成,导致最终上报缺失。
2026-04-01 19:55:19
245
原创 解决在主节点配置好 Kafka 集群启动脚本,运行有显示但是无进程的问题
其中,master slave1 slave2是我的三台虚拟机主机名,usr/local/kafka/config/kraft/server.properties,是我的kafka中server.properties配置文件的绝对路径但是在使用命令 kf.sh start启动时,显示三个节点的 Kafka 已经启动,但是 jps 查看却没有进程。无论是登录式还是非登录式 Shell,都会读取此文件。(7)~/.bash_profile:用户登录时读取的配置文件,非登录式 Shell 不会忽略它。
2025-04-10 19:40:02
1612
原创 错误:找不到或加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher
最后配置/usr/local/spark/conf/spark-defaults.conf 文件,配置语句为: spark.yarn.jars hdfs://master:9000/user/hadoop/jars/*.jar,其中 master为你的主机名,/user/hadoop/jars 为 jar 包在 HDFS 上的位置。解决办法:配置 spark 中的 spark-defaults.cof中的 spark.yarn.jars,配置 yarn 模式下 spark 运行的jar 包。
2025-03-29 15:54:51
1006
原创 执行sqoop 命令将HDFS文件导入到MYSQL中的时候出现/bin/bash: /bin/java: 没有那个文件或目录报错解决方案
ln -s /usr/local/jdk1.8/bin/java /bin/java (权限不够时候➕sudo)创建软链接,左边 /usr/local/jdk1.8/bin/java 是你自己原来的 Java 的安装路径,右边 /bin/java这是软链接将要创建的位置和名称,创建完成后,当你在任何地方运行Java命令时,系统都会找到/bin下的java文件,然后执行他,执行这个命令后,无论你在系统的哪个位置,只要/bin在你的PATH环境变量中,你可以通过Java命令来启动Java虚拟机.
2024-12-31 00:33:41
1623
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅