CHIL | Health-LLM: 在健康预测任务上的大模型能力探索-CSDN博客

本文链接：https://blog.csdn.net/m0_59235945/article/details/147721917

一、实验方案

1、零样本提示

评估现有预训练的LLMs在健康预测任务中的知识能力，4种提示工程，分别为用户档案、健康知识、时间上下文，以及这些信息的组合，以提高LLMs在医疗保健领域的理解能力。

图：零样本提示词工程

在LLM提示词中，关于时间上下文的引入有3种方式：

1）自然语言字符串；

2）时序编码；

3）统计摘要。

作者最终采用自然语言字符串形式，因为它简单有效且广泛接受，，通过采用特殊符号（如NaN）处理缺失值。还受到生物传感数据按特定时间窗口（每日、每周、每月）组织的进一步影响，组织不同时间窗口的时序字符串提供给大模型。

2、少样本提示

3样本，并整合思维链（CoT）和自我一致性（SC）提示技术进一步丰富了提示策略。使用了N=5个候选推理路径进行SC提示。

自我一致性（Self-Consistency, SC）提示技术是一种用于增强大语言模型（LLMs）推理能力的方法。它的核心思想是通过生成多个不同的推理路径（即多个候选答案），并从中选择最一致的答案作为最终输出。这种方法旨在提高模型的逻辑一致性和推理准确性。

3、指令微调

LoRA，提示词如下：

"""Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
### Instruction:{instruction}
### Input:{input}
### Response: The correct answer is:"""

二、实验表现

结论先行：

- 受医学知识调教的大模型，即使参数少，在零样本表现上更好；

- 大参数模型更能理解少样本提示；

- 微调提升显著明显，跨数据集表现取决于知识重叠程度，原数据15%的量就能超过零样本表现，不同LLM对时序变化的敏感程度不一致。

1、零样本表现

在零样本设置中，模型之间没有明显的优势，令人惊讶的是，相对较小的模型（参数数量少于100B）表现出更好的性能（GPT系列模型和Gemini-Pro在最佳和第二佳表现者中仅占20%），这可能表明在健康领域中，模型的有效性不仅仅取决于其规模，还可能显著受到其预训练知识的影响。

图：在四种类型的上下文信息中，添加健康上下文显示出最大的平均性能提升。不同LLMs和数据集的增强效果各不相同

2、少样本表现

在少样本设置中，GPT-3.5和GPT-4在大多数任务中通过少样本提示结合CoT和SC表现出改进，而在较小模型中没有显著观察到这种改进。表明结构化提示在理解和预测行为方面的优势。

3、微调表现

在所有类别中，全参微调的模型HealthAlpaca在10个消费者健康任务中的8个中表现最佳。HealthAlpaca与比它参数数量大两个数量级的GPT系列模型和Gemini-Pro表现相当或更好。HealthAlpaca-lora是LoRA微调的模型，在几乎所有任务中也表现出对较大模型的性能提升。这些结果表明，LLMs可以有效地针对多模态时间序列可穿戴数据进行任务微调。

图：健康预测任务的LLM表现评估

微调模型在跨数据集上的泛化能力：虽然数据集特定的微调通常无法预测其他数据集的任务，但多数据集微调的HealthAlpaca在跨任务中表现出合理的泛化性能。取决于数据集之间的重叠内容。

图：跨数据集表现

微调性能中训练数据量的重要性：在不同下采样训练数据量（原始数据集的5%、15%、25%、50%和100%）上进行了实验。使用原始数据集的15%，微调模型在所有13个任务中已经超过了零样本性能。

LLMs理解时间序列数据的能力：在分析时间序列数据时，LLMs表现出不同的方法。例如，HealthAlpaca对步数和情绪评分等数据进行保守解释，建议中等水平。GPT-4若识别出高活动天数，会建议更高得分，突出其对峰值表现的关注。GPT-3.5使用公式化方法，其专注于平均值，但可能忽略了更深层次的睡眠质量细微差别。GPT-4指出不一致和较低的睡眠效率，建议潜在的睡眠问题，展示了其对变异性的关注。

三、数据

用了四个公共健康数据集（PMData、LifeSnaps、GLOBEM和AW_FB）。

图：4个健康主题，6个数据集，13个健康任务

PMData (Thambawita et al., 2020) 一个包含n=16名参与者（12名男性和3名女性，年龄在25-60岁之间，平均年龄34岁）的数据集，使用Fitbit Versa 2智能手表腕带（客观生物特征和活动数据）、Google Forms（人口统计、食物、饮水和体重）和PMSys运动记录智能手机应用程序（自我报告的措施，如疲劳、情绪、压力等）结合了传统的生活记录数据与运动活动数据。与该数据集相关的任务包括：

- 压力（STRS）：基于生理数据和自我报告的措施估计个体的压力水平。

- 准备度（READ）：评估个体对体力活动/锻炼的准备情况。

- 疲劳（FATG）：监测疲劳或疲惫的迹象。

- 睡眠质量（SQ）：评估包括总睡眠时间、效率、夜间醒来的频率和持续时间等因素。

LifeSnaps (Yfantidou et al., 2022) 一个全面的多模态数据集，由n=71名参与者（42名男性和29名女性，一半在30岁以下，一半在30岁以上）在超过4个月的时间内收集。注释从Fitbit Sense（自动同步数据；睡眠、心率、压力等）手表、SEMA3数据（生态瞬时评估；上下文和情绪、步数目标等）和经过验证的调查（自我报告数据；人口统计、健康等）中收集。与该数据集相关的任务包括：

- 压力恢复力（SR）：评估个体从压力中恢复或积极适应的能力。

- 睡眠障碍（SD）：通过分析记录的数据识别潜在的- - 睡眠障碍，如失眠或睡眠呼吸暂停。

GLOBEM (Xu et al., 2022) 一个多年的被动感知数据集，涵盖705用户年和n=49名参与者（58.9%为女性，24.2%为移民，38.2%为第一代，9.1%为残疾，53.9%为亚洲人，31.9%为白人）的数据，从移动设备（AWARE框架）、可穿戴传感器（Fitbit Flex2和Inspire 2）和调查数据（生态瞬时评估）中收集。与该数据集相关的任务包括：

- 抑郁（DEP）：使用机器学习算法分析用户行为和语言使用模式以进行抑郁检测。

- 焦虑（ANX）：识别焦虑通常依赖于行为标记，如不规则的睡眠模式或增加的生理反应，如心率增加。

AW_FB (Fuller, 2020) 一个数据集，研究了消费者可穿戴设备（GENEActiv、Apple Watch Series 2和Fitbit Charge HR2）的准确性，从n=49名参与者（26名女性和23名男性）在实验室协议中收集了104小时的活动日志。与该数据集相关的任务包括：

- 卡路里消耗（CAL）：估计个体在体力活动中消耗的能量。

- 活动（ACT）：基于传感器数据识别体力活动的类型。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述