- 博客(14)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 【论文阅读】QWEN2 TECHNICAL REPORT
本文介绍了阿里巴巴集团Qwen团队开发的Qwen2系列大型语言模型和多模态模型，这些模型在参数范围从0.5亿到720亿不等，包括密集模型和专家混合模型。Qwen2在语言理解、生成、多语言能力、编程、数学和推理等多个基准测试中表现出色，超越了大多数先前开放权重模型，并与专有模型竞争。旗舰模型Qwen2-72B在多项测试中取得了显著成绩，展示了其在多语言环境中的强大能力和全球适用性。文章还详细介绍了模型的架构、预训练和后训练过程，以及如何通过监督微调和人类反馈强化学习来调整模型以更好地遵循指令。最后，文章提到Q
2024-07-22 16:39:16
633
原创 【论文阅读】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL
GLM-130B是一个130亿参数的双语（英语和中文）预训练模型，旨在提供与GPT-3相当的高质量服务，同时开源以促进透明度和可扩展性。该模型采用GLM算法，结合双向注意力和自回归填充目标，提升了理解和生成能力。在112个任务上，GLM-130B超越了GPT-3和ERNIE TITAN 3.0，特别是在英语基准上表现出色。在开发过程中，研究者克服了大规模模型训练的挑战，如训练效率、稳定性与收敛性。GLM-130B设计为在单个A100服务器上运行，并通过INT4量化实现经济高效的推理，使得在RTX 3090或
2024-07-19 18:10:32
236
1
原创 【论文阅读】Zhongjing: Enhancing the Chinese Medical Capabilities of Large LanguageModel through Expert ..
文章强调了通过使用大型中文数据集训练，这些模型在中文适应性方面取得了成功。在中国的医疗领域，文章提到了DoctorGLM和BenTsao等模型，它们利用了大量的中文医疗对话和外部医疗知识库，以及HuatuoGPT，它通过结合蒸馏和真实数据进行SFT，并使用ChatGPT进行RLHF，实现了更好的性能。本文介绍了Zhongjing，一个基于LLaMA架构的大型中文医学语言模型，它通过完整的训练流程——包括连续预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）——来提升在中医学领域的应用能力。
2024-07-19 17:09:48
665
原创 【论文阅读】Sparks of Artificial General Intelligence: Early experiments with GPT-4
GPT-4在语言理解、数学推理、编程能力、视觉和音频生成、工具使用和环境互动方面展现出显著的智能特征，甚至在某些任务中接近或超越人类水平。在数学问题解决上，GPT-4能处理复杂的计算和逻辑，但存在计算错误和逻辑不连贯的问题。在编程方面，它能编写和理解代码，解决实际问题，但有时会遇到规划和伦理界限的问题。在图像和音乐创作上，GPT-4能根据描述生成2D和3D图像，生成音乐旋律，但仍有细节和和声理解的局限。此外，GPT-4在生成和解释能力上表现出色，但其解释质量取决于任务性质，且存在潜在的错误生成和误导风险。
2024-07-19 16:34:40
197
原创 [论文阅读]REPROMPT: Planning by Automatic Prompt Engineering for Large Language Models Agents
因此，本文提出了一个名为REPROMPT的新方法，通过优化LLM代理的逐步指令提示，基于与LLM代理的交互历史来提高其在特定领域中的规划能力。在Travel Planner任务中，经过5轮迭代的REPROMPT优化提示，提高了最终通过率，特别是在宏观常识通过率上取得了显著提升，解决了旅行规划中的关键瓶颈。本文提出了一种名为REPROMPT的新型自动提示工程方法，旨在通过“梯度下降”优化大型语言模型（LLM）代理的逐步指令，以提高其在特定领域推理任务中的性能。
2024-07-18 17:28:40
747
1
原创 【大模型训练】Efficient Continual Pre-training by Mitigating the Stability Gap
通过在Llama系列模型上的实验验证，这些策略不仅加速了性能提升，还提高了模型的峰值性能，特别是在医学领域的持续预训练和指令调优中，显著提高了性能，使其在多个医学基准测试中与GPT-4相媲美。这些策略有效地提高了模型在新任务上的性能，同时保持了对先前任务的性能，证明了它们在缓解稳定性差距方面的有效性。通过在Llama系列模型上的实验验证，这些策略不仅加速了性能提升，还提高了模型的峰值性能，特别是在医学领域的持续预训练和指令调整中，显著提高了模型在多个医学基准测试中的表现，达到了与GPT-4相媲美的水平。
2024-07-17 10:48:40
862
原创 【医疗大模型】DISC-MedLLM: Bridging General Large Language Models and Real-World Medical Consultation
在多轮对话评估中，DISC-MedLLM在CMB-Clin测试中获得最高总分，在CMD和CMID测试中，GPT-4和GPT-3.5领先，但DISC-MedLLM在某些部门和意图类别中表现出色，尤其是在内部医学、外科和儿科领域。与简单收集大量医学领域NLP数据集不同，DISC-Med-SFT采用了目标导向的策略，通过精心选择的几个数据源进行数据集的重构，旨在帮助大型语言模型（LLMs）获取医学领域知识、与人类偏好对齐的行为模式，并捕捉真实世界在线医学对话的分布。
2024-07-17 10:43:12
605
原创 [医疗大模型]【综述】Large Language Models for Medicine: A Survey
最后，文章强调了医学LLM需具备的特点，如同情心、可解释性、实践导向、团队协作、伦理考量、处理不确定性和复杂性的能力，以及跨不同医学领域的适应性。此外，强调了多方协作的重要性，包括政府、医疗机构、患者和研究机构的共同努力，以推动LLMs在医疗领域的全面整合，从而提供更智能、个性化和高效的医疗服务，提升整体医疗质量和患者生活质量。文章回顾了LLMs的发展历程，探讨了其在医疗领域的具体应用，如临床决策支持、患者教育和药物研发等，并指出了在开发和部署医疗LLMs时面临的挑战，包括数据隐私、伦理问题和技术整合。
2024-07-17 10:37:53
769
原创 【医疗大模型】HuatuoGPT, towards Taming Language Model to Be a Doctor
最后，文章介绍了他们开发的名为HuatuoGPT的中文医学LLM，该模型通过结合ChatGPT的蒸馏数据和医生的真实世界数据，以及采用RLAIF方法，旨在克服ChatGPT在医学领域的局限性，并在多项评估中表现出色。因此，文章提出了一个解决方案，即在监督微调阶段混合使用ChatGPT的精炼数据和真实世界医生的数据，并通过AI反馈的强化学习来增强模型的性能，以期训练出一个既能提供详细、信息丰富且表达良好的内容，又能像医生一样进行准确和互动诊断的医疗语言模型。
2024-07-17 10:20:52
624
原创 【医疗大模型】AI for Biomedicine in the Era of Large Language Models
文章强调了这些模型在提高生物医学研究和医疗诊断效率方面的潜力，同时也指出了未来面临的挑战，包括确保AI辅助的生物医学洞察的可靠性、信任度，模型的可解释性和鲁棒性，以及如何处理模型对不同人群的偏见和数据隐私问题。最后，文章探讨了如何有效整合多模态和多组学数据，以构建一个强大的统一LLM，如Google的Med-PaLM-2所展示的，它能够集成图像、文本和基因组数据，提供专家级别的医疗问题回答能力。脑信号方面，BrainBERT、MMM等模型在脑电信号处理中展现了潜力，支持脑-计算机接口和脑信号到文本的转换。
2024-07-17 10:16:47
487
原创 【医疗大模型】MEDITRON-70B: Scaling Medical Pretraining forLarge Language Models
最终，MEDITRON模型在多个医学基准测试中展现了出色的性能，证明了其在医学领域的有效性和应用潜力。文章介绍了MEDITRON-70B，一个针对医疗领域优化的开放源代码大型语言模型（LLM），它基于Llama-2模型，通过在精心策划的医疗数据集上进行预训练，包括PubMed文章、摘要和国际认可的医疗指南，以提高其在医疗推理任务上的性能。文章的结论是，MEDITRON模型通过在高质量医学资源上的继续预训练，展示了在临床推理基准上的显著改进，接近了商业LLMs的性能，同时超越了所有开源的通用和医学LLMs。
2024-07-17 10:13:16
410
原创 【论文阅读】LoRA Meets Dropout under a Unified Framework
本文探讨了在大型语言模型（LLMs）的参数高效微调（PEFT）中，LoRA方法与传统dropout技术之间的潜在矛盾。研究发现，尽管LoRA通过限制可训练参数的数量来减少过拟合，但它仍然容易受到过拟合的影响。通过数学和实证分析，文章揭示了现有dropout方法如DropKey、DropAttention和HiddenCut之间的等价性和差异性，并提出了一种统一的框架，用于在LoRA背景下评估和比较这些方法。基于此框架，文章提出了一种新的dropout方法——HiddenKey，它在多个模型和任务中展现出优越
2024-07-17 10:09:48
666
原创 【阅读】A FRAMEWORK TO IMPLEMENT 1+N MULTI-TASK FINE-TUNINGPATTERN IN LLMS USING THE CGC-LORA ALGORITHM
本文提出了一种名为CGC-LoRA的框架，用于在大型语言模型（LLMs）中实现1+N多任务微调模式，旨在解决传统微调方法中存在的高计算成本和任务间知识隔离问题。CGC-LoRA结合了多任务学习（MTL）和参数高效微调（PEFT）的优势，通过引入定制化门控控制（CGC）和低秩适应（LoRA）算法，实现了对LLMs的微调，使其能够适应多个未见任务集群。该框架通过将任务分为多个集群，并对每个集群应用多任务版本的LoRA微调算法，使得一个中央LLM能够通过一系列可插拔的LoRA模块轻松处理来自不同领域的多样化任务。
2024-07-17 10:05:29
542
原创 [医疗大模型]Large language models encode clinical knowledge
文章中“Model development and evaluation of performance”部分的核心要点是：Flan-PaLM 540B模型在多个医学相关的多选题任务上表现卓越，包括在MedQA、MedMCQA和PubMedQA数据集上超越了之前的最佳模型，以及在MMLU数据集的临床相关主题上取得了行业领先的成绩。此外，该模型在专业医学和临床知识子集上分别达到了83.8%和80.4%的准确率，展示了大型语言模型在医学领域的巨大潜力。同时，文章也指出了医学领域应用LLMs的复杂性。
2024-07-17 10:02:47
586
Cocos2d for iPhone 0.99 Beginners Guide Code书
2011-02-16
Cocos2d for iPhone 0.99 Beginners Guide Code源码
2011-02-16
[统计学原理(下册)-描述性统计学与概率(全美经典学习指导系列)].(美)伯恩斯坦&伯恩斯坦.扫描版
2010-11-09
[统计学原理(上册)-描述性统计学与概率(全美经典学习指导系列)].(美)伯恩斯坦&伯恩斯坦.扫描版
2010-11-09
latex排版教程，笔记，ppt三合一
2010-11-09
模式识别(第二版)习题解答
2010-11-09
PLSA的matlab的源码，论文，实验数据
2010-11-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人