![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 89
程序员石磊
专注在职读研、云原生技术、室内定位技术分享!
展开
-
用于可穿戴传感器的人类活动识别、健康监测和行为建模的大型语言模型
可穿戴技术的普及使得传感器数据的大量生成成为可能,为健康监测、活动识别和个性化医疗的进步提供了重要机会。然而,这些数据的复杂性和规模也带来了建模和分析的巨大挑战,从时间序列建模到深度学习技术,各种方法相继应用。最新的前沿是采用大型语言模型(LLMs),如GPT-4和Llama,用于通过可穿戴传感器数据分析、建模、理解和生成人类行为。这篇综述探讨了将LLMs应用于基于传感器的人类活动识别和行为建模的当前趋势和挑战。综述提供了可穿戴传感器数据与LLMs交叉领域的全面概览,探讨了当前的状态和未来前景。原创 2024-07-15 10:55:49 · 835 阅读 · 0 评论 -
大语言模型在时空分析中的能力评估
大模型处理时序数据原创 2024-07-03 07:18:04 · 1130 阅读 · 0 评论 -
LongRAG:增强长上下文大语言模型的检索增强生成
在传统的RAG框架中,检索单元通常较短,如100字的维基百科段落。检索器需要在庞大的语料库中搜索,这增加了检索负担。为了减轻这种负担,作者提出了LongRAG框架,包括“长检索器”和“长阅读器”,将整个维基百科处理成4K-token的单位,使检索单元减少至60万,大大减轻了检索器的负担,显著提高了检索性能。在不需要训练的情况下,LongRAG在NQ和HotpotQA(全维基)上达到了62.7%和64.3%的EM(精确匹配)率,与最先进的模型相当。原创 2024-06-26 07:31:36 · 1119 阅读 · 0 评论 -
基于大型语言模型的全双工语音对话方案
本论文介绍了一种能够实现全双工操作的生成性对话系统,允许无缝互动。该系统基于大型语言模型(LLM),并与感知模块、运动功能模块以及一个简单的有限状态机(称为神经FSM)结合。感知和运动功能模块协同工作,使系统能够同时与用户进行说话和聆听。LLM生成文本标记以响应查询,并通过发出控制标记给神经FSM来自主决定何时开始回应、等待或打断用户。这些任务通过在实时对话的序列化视图上进行下一个标记的预测来完成。原创 2024-06-19 10:51:02 · 1132 阅读 · 0 评论 -
通过噪声扰动缓解多模态大型语言模型的幻觉问题
该论文提出了一种名为NoiseBoost的方法,通过噪声扰动来缓解多模态大语言模型(MLLM)中的幻觉问题。论文分析指出,幻觉主要源于大语言模型固有的总结机制,导致对语言符号的过度依赖,而忽视了视觉信息。NoiseBoost通过在视觉特征中加入噪声扰动,作为一种正则化手段,促进视觉和语言符号之间的注意力权重平衡。实验结果显示,NoiseBoost不仅在监督微调和强化学习中提升了模型性能,还首次实现了MLLM的半监督学习,充分利用了未标记数据。原创 2024-06-19 09:46:47 · 900 阅读 · 0 评论 -
快速LLaMA:面向大型语言模型的查询感知推理加速 论文摘要翻译与评论
大型语言模型(LLMs)在理解和推理长文本上下文方面的能力是各领域进步的关键。然而,它们在识别相关上下文和记忆搜索方面仍存在困难。为了解决这个问题,我们引入了Query-aware Inference for LLMs(Q-LLM)系统,该系统旨在像人类认知一样处理广泛的序列。通过专注于与给定查询相关的记忆数据,Q-LLM能够在固定窗口大小内准确捕捉相关信息,并为查询提供精确答案。它不需要额外的训练,可以无缝集成到任何LLMs中。原创 2024-06-16 11:49:18 · 1113 阅读 · 0 评论 -
大模型-人类病理学的语言视觉AI助手
计算病理学领域已经在任务特定的预测模型和任务无关的自监督视觉编码器的发展方面取得了显著进展。然而,尽管生成性人工智能快速增长,针对病理学定制的通用多模态AI助手和副驾驶的研究却很有限。在此,我们提出了PathChat,这是一个面向人类病理学的视觉-语言通用AI助手。我们通过将病理学基础视觉编码器与预训练的大型语言模型结合,并在超过45.6万个多样化的视觉语言指令上进行微调,构建了PathChat。原创 2024-06-16 10:30:54 · 851 阅读 · 0 评论 -
大模型-智能游戏代理,不再是傻傻的机器人!
背景游戏代理在推进通用人工智能(AGI)方面扮演着重要角色。大型语言模型(LLMs)及其多模态版本(MLLMs)的进展为赋予游戏代理以人类般的决策能力提供了前所未有的机会。研究目的本文提供了一个全面的综述,涵盖LLM基础的游戏代理,包括概念框架、现有研究方法和未来研究方向。游戏代理的开发在推进通用人工智能(AGI)方面扮演着关键角色。大型语言模型(LLMs)及其多模态对应模型(MLLMs)的进展,为在复杂的计算机游戏环境中赋予游戏代理以人类般的决策能力提供了前所未有的机会。原创 2024-06-13 07:49:52 · 637 阅读 · 0 评论 -
谷歌提出面向个人健康大型语言模型
大型语言模型(llm)可以对广泛的信息进行检索、推理和推断。在健康方面,迄今为止,大多数LLM工作都集中在临床任务上。然而,很少整合到临床任务中的移动和可穿戴设备为个人健康监测提供了丰富、连续和纵向的数据来源。本文提出一个新模型,个人健康大型语言模型(PH-LLM),一个经过微调的Gemini版本,用于对数字时间序列个人健康数据的文本理解和推理,用于睡眠和健身应用。原创 2024-06-12 07:42:56 · 798 阅读 · 0 评论 -
大模型-智能儿科助手
论文标题为“PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications”,提出了一种用于儿科应用的中文大模型助手。为了解决现有大模型在儿科应用中表现欠佳的问题,作者构建了一个高质量的数据集 PedCorpus,并提出了一个系统的训练流程来构建 PediatricsGPT。这包括持续预训练、全参数监督微调、人类偏好优化和参数高效的二次微调。原创 2024-06-10 08:55:34 · 265 阅读 · 0 评论 -
私有大模型:针对长结构文档的回答方法
大型语言模型(LLMs)在处理长文档问答(QA)时面临着无法适应其小上下文窗口的问题。为了解决这一问题,大多数现有工作集中在从文档中检索相关上下文,并将其表示为纯文本。然而,像PDF、网页和演示文稿等文档天然地具有不同页面、表格、部分等结构。将这些结构化文档表示为纯文本与用户对这些文档丰富结构的心理模型不一致。当系统必须查询文档以获取上下文时,这种不一致性会凸显出来,使得看似简单的问题也会难倒QA系统。原创 2024-06-01 15:13:49 · 959 阅读 · 0 评论