AIGC for GPT 评分体系构架
文章平均质量分 94
主要针对大模型生成文本质量 准确度等内容进行评分系统的架构,包括技术调研,技术方案,技术实现,本专栏均为原创内容。
皮卡丘ZPC
这个作者很懒,什么都没留下…
展开
-
HuatuoGPT, Towards Taming Language Models To Be a Doctor 阅读笔记
医学是人类生存的重要支柱,其有效性在很大程度上依赖于专业人员的专业知识和经验。然而,像ChatGPT这样的大型语言模型(llm)的出现预示着这种经验驱动领域的变革时代(Wang et al, 2023a)。llm通过利用回顾性数据和生成前瞻性来学习和模仿人类语言输出。考虑到法学硕士和医学的经验驱动型基金会的融合,我们认为法学硕士在改善医疗咨询和诊断支持方面具有巨大的潜力。向ChatGPT学习?近期研究(Taori et al ., 2023;原创 2024-03-30 22:17:24 · 640 阅读 · 2 评论 -
MemoryBank: Enhancing Large Language Modelswith Long-Term Memory 论文阅读
ChatGPT (OpenAI, 2022年)和GPT-4 (OpenAI, 2023年)等大型语言模型(llm)的出现,导致从教育、医疗保健到客户服务和娱乐等各个领域的影响力越来越大。这些强大的人工智能系统展示了非凡的能力理解并产生类似人类的反应。尽管法学硕士具有非凡的能力,但一个关键的限制是他们缺乏长期记忆,这是人类沟通的一个重要方面,特别是在需要持续互动的场景中,如个人陪伴、心理咨询和秘书任务。人工智能中的长期记忆对于维持上下文理解、确保有意义的交互和理解用户行为至关重要。原创 2024-03-27 21:44:04 · 1980 阅读 · 1 评论 -
llama_index 官方文档阅读笔记 (续...KG RAG构建)
参考链接:Neo4j作为图形存储集成得到支持。您可以使用LlamaIndex和Neo4j持久化、可视化和查询图形。此外,使用和直接支持现有的Neo4j图。如果你以前从未使用过Neo4j,你可以在下载桌面客户端。打开客户端后,创建一个新项目并安装apoc集成。提供完整说明。只需点击您的项目,选择左侧菜单上的Plugins,安装APOC并重新启动服务器。我们支持集成,直接在Nebula中持久化图形!此外,您可以使用为Nebula图生成密码查询并返回自然语言响应。原创 2024-03-14 22:46:17 · 1799 阅读 · 1 评论 -
LLM Evaluation Metrics: Everything You Need for LLM Evaluation阅读笔记
评估指标架构LLM 评估指标是根据您关心的标准对 LLM 的产出进行评分的指标。例如,如果您的 LLM 应用程序旨在总结新闻文章的页面,则需要一个 LLM 评估指标,该指标根据以下条件进行评分:摘要是否包含来自原始文本的足够信息。摘要是否包含与原文相矛盾或幻觉。此外,如果您的 LLM 应用程序具有基于 RAG 的架构,您可能还需要为检索上下文的质量打分。关键是,LLM 评估指标根据 LLM 应用程序设计要执行的任务来评估它。(请注意,LLM 应用程序可以只是 LLM 本身!原创 2024-03-09 00:03:21 · 1072 阅读 · 1 评论 -
llama_index 官方文档阅读笔记 (持续更新版)
无论是 OpenAI 还是任意数量的托管 LLM 还是您自己的本地运行模型,LLM 都会在每一步使用,从索引和存储到查询和解析您的数据。:每个索引策略都有相应的查询策略,有很多方法可以提高您检索的内容的相关性、速度和准确性,以及 LLM 在将其返回给您之前对它做了什么,包括将其转换为结构化响应,例如 API。LlamaIndex 提供了必要的抽象,以便更轻松地摄取、构建和访问私有或特定于域的数据,以便将这些数据安全可靠地注入 LLM,以实现更准确的文本生成。这使其具有更大的灵活性,可以处理更复杂的任务。原创 2024-03-08 20:42:46 · 3264 阅读 · 1 评论 -
大模型置信度评估问题(持续更新)
logprobs:是否返回 output tokens 的对数概率(布尔类型,默认为False如果为真,则返回消息内容中返回的每个 output token 的对数概率。目前 gpt-4-vision-preview 模型还不支持此选项。:一个介于 0 到 5 之间的整数,指定在每个 token 位置返回最有可能的 tokens,并且每个 token 都有一个关联的对数概率。如果使用了这个参数,logprobs 就必须设置为 True。显然,这两个参数被设计为协同工作。理论上,调整。原创 2024-03-07 17:26:17 · 1047 阅读 · 0 评论