HealthGenie AI营养师：通过知识图谱和大模型为用户提供健康饮食指导 - 东京大学&MIT等

最新推荐文章于 2025-05-19 10:04:29 发布

AI大模型入门教程

最新推荐文章于 2025-05-19 10:04:29 发布

阅读量761

点赞数 25

文章标签：人工智能知识图谱深度学习 transformer 机器学习开源

本文链接：https://blog.csdn.net/Everly_/article/details/147579022

版权

摘要

寻求饮食指导通常需要在理解复杂专业知识的同时，应考虑到个人的健康状况。知识图谱（KGs）提供了结构化且可解释的营养信息，而大型语言模型（LLMs）自然促进了对话式推荐信息的传递。本文介绍了HealthGenie，一个基于交互式系统AI营养师，它结合了LLMs和KGs的优势，提供个性化的饮食建议以及层次化的信息可视化，以便快速直观地概览。在接收到用户查询后，HealthGenie会进行查询细化，并从预先构建的KG中检索相关信息。系统随后会按照定义的分类可视化和高亮显示相关信息，并提供详细、可解释的推荐理由。用户可以通过交互式调整偏好来进一步定制这些建议。我们的评估包括一项受试者内比较实验和一次开放式讨论，结果表明HealthGenie有效地支持用户根据其健康状况获得个性化饮食指导，同时减少了互动轮次和认知负荷。这些发现突显了LLMs与KG整合在通过可解释和可视化信息支持决策方面的潜力。我们通过一项N=12的受试者内研究检验了该系统的有用性和有效性，并为未来整合对话式LLMs和KG的系统提供了设计考虑因素。
在这里插入图片描述

引言

做出明智的饮食选择在管理个人健康和预防慢性疾病方面起着至关重要的作用。为了让饮食信息易于获取和解释，研究集中在以有组织的形式——知识图谱（KGs）——构建这种复杂知识，这些图谱通过具有语义意义的联系连接食物、营养素和健康状态等实体。与此同时，大型语言模型（LLMs）的出现通过提供互动的对话式界面彻底改变了信息寻求行为。LLMs与KGs的结合增强了结构化饮食知识的可用性，并使得更直观、智能地探索复杂的营养关系成为可能。

虽然整合知识图谱（KGs）可以显著提升大型语言模型（LLMs）输出的质量，但在当前基于文本的界面中这一优势并未得到充分利用。这些界面通常依赖于线性文本格式，如扩展段落，并未通过提供（i）可视化输出以及（ii）直接交互来利用知识图谱的内在结构。首先，现有的基于大型语言模型的方法能够通过知识图谱提供更详细的信息。然而，这些基于文本的输出往往过于冗长，阻碍了用户轻松关注到他们感兴趣的信息，并增加了识别所需内容所需的时间和努力。例如，在文本环境中比较推荐菜品的目的颇具挑战性，需要可视化每道菜品的关系和独特特点以帮助用户做出决策。其次，就直接交互而言，用户通常需要进行多轮对话才能最终获得他们偏好的食谱，因为基于文本的交流要求他们独立确定需求并输入冗长的描述，这既耗时又低效。因此，开发一个新的促进决策过程的交互界面并提供直观的方法至关重要。结合知识图谱作为界面可能为饮食推荐提供一个可行的解决方案[46, 69, 71]。这样的组合可以发挥每项的优势——利用大型语言模型的自然语言能力，同时保留知识图谱的结构清晰性和表达能力。在图1中，我们展示了一个示例，比较了传统的基于线性文本的方法（a）与我们的循环式、由知识图谱驱动的交互式工作流程（b）。左侧展示了用户通常必须经过多轮基于文本的查询来获得饮食建议，而右侧演示了如何通过可视化并直接与知识图谱互动，帮助他们更高效地实时调整或排除某些成分。

在本文中，我们提出了一个名为HealthGenie的新型交互系统，它将基于大型语言模型驱动的对话界面与特定食谱的知识图谱可视化相结合。HealthGenie旨在通过提供清晰、基于证据的饮食建议来增强普通用户的能力。我们的工作借鉴了一项涉及七名参与者的形成性研究的见解，解决了信息透明度、降低认知负荷、直观互动以及个性化指导等关键需求。HealthGenie采用循环式工作流程来增强大型语言模型、知识图谱与用户之间的互动。通过这种方法，大型语言模型根据用户与知识图谱的互动识别个别用户的偏好，动态地将这些见解纳入其建议中，然后再将这些建议可视化回知识图谱中。通过将大型语言模型（LLM）的回应建立在精选的营养知识图谱中，并提供直观的视觉指导，HealthGenie增强了饮食建议的可信度和易用性，最终支持更明智的食谱选择。

为了评估HealthGenie在促进知识图谱可视化和与LLM进行直观互动以完成个性化饮食推荐任务方面的有效性，我们对12位有经验的LLM用户进行了受试者内评估。我们展示了HealthGenie在四种场景中的功能，并引导用户以平衡的顺序使用我们的系统和基线系统完成任务。定量和定性结果均表明，我们的系统通过整合的文本和视觉表示有效地传递了组织良好的食谱信息，同时积极支持用户的基于偏好的决策。

本研究的主要贡献可以概括如下：

● 一项形成性研究（N=7），总结了关于饮食信息显示的实践、挑战和期望。

● HealthGenie，一个交互式系统，特点在于可视化的知识图谱回应和直观互动，帮助用户在个性化饮食探索中赋权。

● 一项关于HealthGenie在提供食谱建议方面的有用性和有效性的实证用户研究（N=12），以及对来自用户研究的洞察和未来LLM-知识图谱集成界面设计的讨论。

2 背景和相关工作

在本节中，我们回顾了关于人工智能（AI）在医疗支持系统中作用的前期研究、基于大型语言模型（LLM）的对话界面的当前状态、知识图谱的可视化及交互设计——特别是在人机交互（HCI）研究社区内——以及LLM驱动的营养和饮食指导的局限性和挑战。

AI驱动的医疗支持系统

传统的医疗支持系统专注于设计和实施互动技术，为用户提供做出明智决策所需的信息并管理他们的健康[75]。早期研究表明，用户通常依赖搜索引擎（例如谷歌和雅虎）或社交媒体平台如Quora和Reddit来获取健康信息。为了满足对专业医疗咨询的需求，已经探索了更先进的AI工具。例如，Joshi等人开发了一个互动语音应答系统，通过提供健康提示来支持艾滋病患者。同样地，Zhang专注于设计AI驱动的界面，以协助用户获取医疗信息和咨询。

近年来，具有任务无关架构和广泛预训练的大型语言模型（LLMs）在医疗和营养领域得到了广泛应用。研究表明，LLMs具有在临床护理过程中提供明智决策支持的潜力，从诊断到治疗建议。此外，研究人员已经探索利用大型语言模型（LLMs）出色的自然语言理解和生成能力，以参与可获取医疗信息的开放式对话。尽管大型语言模型取得了成功，但其生成性质使其不可避免地产生幻觉，尤其是在医疗领域。为了解决这个问题，Sachdeva等人开发了“自建专家机器人”平台，以创建集成专家验证的基于大型语言模型的聊天机器人。这些系统的目的是为非专家用户提供越来越准确的信息。

基于大型语言模型的对话界面

随着大型语言模型迅速发展的步伐，人机交互（HCI）界一直在积极探索创新的对话界面设计，以改善用户在不同应用中与大型语言模型的互动。这些努力可以大致分为两个关键研究方向：（1）增强用户对大型语言模型生成内容的理解；（2）利用大型语言模型开放式对话的能力提供特定任务的指导。

一个突出的研究焦点是设计帮助用户更好地理解和解释大型语言模型输出的系统。例如，Graphlogue[27]将大型语言模型产生的基于文本的响应转换为图形图表，以便于信息搜索和问答任务。同样，WatiGPT[68]提出增强用户对大型语言模型进行的分析的理解，并加强对其的控制。FathomGPT[31] 支持通过直观的可视化来交互式探索海洋数据。这些系统的目的是减少认知负担，并提高人机大型语言模型（LLM）互动的透明度。

另一个关键趋势是利用LLM的对话灵活性，在特定任务中提供定制化帮助。Diary-Mate通过提供LLM生成的写作提示和反馈，协助用户进行反思性日记写作。InkSync在文档编辑过程中整合LLM生成的反馈，扩展了传统的基于聊天的对话界面，而Compeer引入了一种主动的对话代理，提供适应性同伴支持。这些系统展示了如何有效地将LLM用于特定用户任务。

在这些进展的基础上，HealthGenie 与增强用户理解LLM生成响应的交互式对话系统保持一致。旨在减少对话轮次，HealthGenie 提供关于LLM如何支持个性化饮食或食谱建议的见解。

知识图谱可视化与交互

从根本上说，知识图谱是一种数据模型，它将知识表示为一组节点（即实体）、边（即实体之间的关系）以及可以与节点和边关联的属性（即属性）。由于它们在推理数据方面的强大结构，知识图谱在研究界引起了越来越多的兴趣，特别是在探索如何利用它们来实现更有效的可视化和交互界面方面。先前的工作使用知识图谱（KGs）作为常识性知识基础方法，并设计可视化界面，以便专家和非专家用户直接查看和操作结构化数据。例如，KGScope支持通过提供基于嵌入的指导来交互式地探索知识图谱，帮助用户得出见解并导航更广泛的网络。他们的评估表明，知识图谱可以提供有价值的信息并促进全面探索。

在这里插入图片描述

同样，Ashby等人利用知识图谱和大型语言模型（LLMs）创建个性化、上下文感知的对话体验。

在这里插入图片描述

在医疗等专业领域——其中精确性和综合分析至关重要——知识图谱特别适用于提供数据的层次化解释。Santos等人提出了一个基于临床知识图谱的开源平台，并提供可扩展的节点编辑功能以满足用户需求。https://www.nature.com/articles/s41587-021-01145-6
在这里插入图片描述

虽然Xu等人和You等人已成功地将知识图谱和大型语言模型整合用于健康信息搜索，但往往忽视结合用户互动反馈的重要性，并未提供个性化推荐。在这里插入图片描述

大型语言模型在营养与饮食指导中的应用

最近的研究还探讨了大型语言模型在营养相关任务中的多样化应用。研究已证明它们在从饮食数据分析到为特定健康状况生成个性化营养建议等各个领域的潜力在这里插入图片描述

例如，一些拟议的应用设想大型语言模型作为互动工具，能够实时回答与营养相关的问题，为寻求饮食建议的个人提供一个易于获取的信息来源。

此外，Chat-Diet运用大型语言模型来创建考虑用户特定饮食限制、偏好和潜在健康条件的定制餐单。

在这里插入图片描述

尽管认识到大型语言模型的潜力，但几项研究对这些模型提供信息的准确性和可靠性提出了担忧。人们广泛强调需要由人类专家对大型语言模型生成的营养建议进行严格验证，以确保这些工具的安全性和有效性。例如，斯齐曼斯基等人与注册营养师合作开发了“食品产品营养助手”，它能生成详细的食品产品描述和个人化营养信息。在这里插入图片描述

另一项研究探索使用检索增强生成（RAG）框架来提高大型语言模型解释和应用既定饮食指南的能力。

在这里插入图片描述

通过建立专业语料库作为其知识库，HealthGenie通过关键词提取检索并推荐健康的饮食。其设计旨在帮助用户以最小的脑力劳动快速获取所需食谱，与传统长文相比，后者往往显示杂乱无章的列，影响可读性、可靠性和透明度。

核心速览

研究背景

研究问题

这篇文章要解决的问题是如何通过知识图谱（KGs）和大语言模型（LLMs）的结合，为用户提供个性化的饮食建议。具体来说，研究如何利用这些技术来简化用户获取和理解复杂饮食信息的流程。

在这里插入图片描述

研究难点

该问题的研究难点包括：现有文本接口无法有效利用知识图谱的结构优势，提供的信息过于冗长且难以快速找到所需内容；用户在获取个性化饮食建议时需要多次交互，增加了时间和认知负担。
相关工作

该问题的研究相关工作包括：AI在医疗保健支持系统中的应用、基于LLMs的对话接口设计、知识图谱的可视化和交互设计，以及LLMs在营养和饮食指导中的应用。

研究方法

这篇论文提出了HealthGenie系统，用于解决个性化饮食建议的问题。具体来说，

知识图谱构建：首先，构建了一个包含约12,500个独特食谱和27,500个成分提及的知识图谱。每个食谱、成分、营养素或饮食限制都被表示为一个节点，边捕捉语义关系，如“包含”、“属于菜系”、“推荐用于”或“可替代”。
用户查询处理：用户查询通过领域特定的处理管道进行解析和上下文化，以捕捉用户的饮食目标并将其转换为符号约束。系统使用轻量级LLM驱动的分类层来区分声明，如食谱搜索、约束覆盖、信息请求或一般澄清类别。
知识匹配和自适应输出：系统收集符合用户主要标准的候选节点，并根据用户的偏好和行为调整子图。多代理管道综合生成用户友好的响应，包括图形检索代理、相关性评分代理和语言生成代理。
交互反馈和迭代：系统采用双向反馈模型，允许用户通过文本或图形界面直接操作知识图谱，系统实时更新和细化推荐。

实验设计

数据收集

通过社交媒体招募了12名参与者，年龄范围为23至32岁，教育水平包括学士、硕士和博士。所有参与者都熟悉知识图谱，并且大多数了解LLMs与KGs结合的概念。
实验任务

实验包括两个目标的任务：个性化饮食推荐和食谱修改与完成。个性化饮食推荐任务要求参与者通过与系统的交互，找到满足一般营养要求、符合特定健康条件或个人口味偏好的食谱。食谱修改与完成任务则要求参与者在给定一组成分的情况下，修改非纯素食食谱以符合纯素食生活方式，并添加或删除成分。
实验步骤

参与者首先被介绍给HealthGenie系统，并被告知其核心功能。然后，他们被要求进行个性化饮食推荐任务和食谱修改与完成任务。为了评估系统的有效性，参与者被分为两组，分别在不同的顺序下完成任务。

结果与分析

信息感知：参与者在信息组织的维度上对输出质量给予了高度评价，特别是在组织方面。解释性得分最高，表明参与者认为输出易于理解和遵循。然而，准确性和粒度得分较低，表明在某些情况下用户希望获得更详细的信息。

在这里插入图片描述

用户偏好支持：HealthGenie在大多数任务中表现优于基线系统，特别是在个性化推荐任务中。系统在准确完成任务方面表现尤为突出，特别是在任务2中。

在这里插入图片描述

用户体验：用户对HealthGenie的整体性能感到满意，认为系统易于使用。系统在有用性、易用性、享受度和定位使用度方面得分较高，表明用户认为系统满足了他们的需求并提供了愉快的交互体验。

在这里插入图片描述

总体结论

这篇论文提出了HealthGenie系统，通过结合知识图谱和大语言模型，为用户提供个性化的饮食建议和食谱指导。用户研究表明，与健康信息传统的文本接口相比，HealthGenie提供了更直观和有组织的建议，具有高用户满意度和感知有用性。通过结构化的交互可视化，将专家级别的饮食知识与日常决策相结合，推动了人机交互界面在个性化健康指导方面的设计进步。

论文评价

优点与创新

创新性结合

论文提出了HealthGenie系统，将知识图谱（KGs）和大型语言模型（LLMs）结合起来，提供个性化的饮食推荐，并通过分层信息可视化实现快速直观的概览。
交互式工作流程

设计了一个循环的交互工作流程，用户可以通过直接操作知识图谱来调整偏好，从而影响LLMs的推荐，形成一个自适应和可控的交互过程。
用户研究

通过12名参与者的主观和定量评估，证明了HealthGenie在提供个性化饮食建议方面的有效性，减少了用户的交互努力和时间。
设计目标明确

基于初步研究，制定了明确的设计目标，包括支持信息可视化、提供详细的解释和专业理由、以及根据用户偏好调整指导。
多模态交互

系统结合了聊天面板、查询生成面板、动态知识图谱和交互记录面板，提供了丰富的交互体验。
可扩展的知识图谱

构建了一个包含超过100,000个节点和至少45种不同关系类型的知识图谱，能够全面映射烹饪和健康相关概念。

不足与反思

数据不足

一些参与者提到HealthGenie偶尔提供不相关的信息，例如食谱范围有限，缺乏对东方菜系的知识。这主要是由于系统最初专注于支持中文和英文系统，优先翻译西方食谱。
高延迟

其他挑战包括系统的反应速度和延迟较高。为了更好地检测用户偏好和意图，系统实现了多个提示，这虽然提高了反馈的质量，但也增加了处理时间。
知识图谱结构有限

参与者希望知识图谱能按类型组织或建议更多相关内容。例如，有参与者建议提供产品或食谱视频的亚马逊链接。当前系统中，食谱按类似成分和健康益处组织，以简化信息结构并便于快速检索。

关键问题及回答

问题1：HealthGenie系统在知识图谱构建方面有哪些独特的做法？

HealthGenie系统在知识图谱构建方面采用了大规模食谱数据库和本体结构，涵盖了成分、健康益处和餐食类别。具体来说，系统包含约12,500个独特食谱和27,500个成分提及，每个食谱、成分、营养素或饮食限制都被表示为一个节点，边捕捉语义关系，如“包含”、“属于菜系”、“推荐用于”或“可替代”。此外，系统还应用了零样本LLM驱动的提取方法，处理约1200万自由文本营养笔记，识别出超越本体定义的潜在关系。通过这些方法，HealthGenie构建了一个全面且动态更新的知识图谱，以确保推荐的准确性和适应性。

问题2：HealthGenie系统如何处理用户的查询，并将其转换为可操作的符号约束？

HealthGenie系统通过一个领域特定的处理管道来解析和上下文化用户的自然语言请求。具体步骤包括：意图预测、查询解析、关键词提取和语言处理。首先，系统使用轻量级LLM驱动的分类层来区分用户的声明，如食谱搜索、约束覆盖、信息请求或一般澄清类别。然后，系统将用户的文本请求转换为符号约束，识别关键实体和关系修饰符，并应用边界值。最后，系统提取查询中的关键词，并进行浅层句法分析，将用户需求转化为一致的逻辑结构表示。这些步骤确保了系统能够准确捕捉用户的饮食目标，并将其转换为可操作的符号约束。

问题3：HealthGenie系统在用户交互和反馈方面有哪些创新之处？

HealthGenie系统在用户交互和反馈方面采用了双向反馈模型，允许用户通过文本或图形界面直接操作知识图谱。系统实时更新和细化推荐，确保用户能够根据自己的偏好和行为调整子图。具体创新包括：交互式知识图谱可视化，用户可以通过拖动和点击节点来直接操作知识图谱；动态反馈机制，用户的每次操作都会立即反映在系统中，系统会重新计算并更新推荐；自适应输出，系统会根据用户的最新偏好和行为调整推荐，确保推荐始终保持与用户需求的同步。这些创新设计极大地提升了用户的交互体验，使其能够更灵活地探索和定制饮食建议。