AI应用实战
文章平均质量分 94
技术狂潮AI
最前沿的人工智能、AI聊天机器人、AIGC以及JAVA等IT技术领域的技术文章和应用实践。致力于为技术爱好者提供一个学习、探究和交流技术的空间。
展开
-
Vanna AI:告别代码,用自然语言轻松查询数据库,领先的RAG2SQL技术让结果更智能、更精准!
Vanna,是一款革命性的AI SQL智能体,可以将复杂的SQL查询简化为日常语义对话。在生成式AI的助力下,Vanna 让数据库查询变得前所未有的简单和直观。它是基于 OpenAI 和 Google 提供的大语言模型(LLM)。Vanna 通过预训练模型,结合你的数据库进行微调,可以快速帮你量身打造一个定制化的AI助手。Vanna 是一个获得 MIT 许可的开源 Python RAG(检索增强生成)框架,用于 SQL 生成和相关功能。GitHub 已经高达7200 颗星。原创 2024-05-21 00:02:28 · 1388 阅读 · 0 评论 -
RAGFlow:基于OCR和文档解析的下一代 RAG 引擎
在对 RAGFlow 的探索中,我们可以清晰地看到其在RAG(Retrieval-Augmented Generation)领域中的重要地位和显著优势。RAGFlow作为一款下一代开源RAG引擎,不仅在问答对话方面表现出色,还具备高级内容生成的能力,例如长文生成等。这使得RAGFlow能够为用户提供更为全面和深入的服务,满足不同场景下的需求,尤其在企业级应用中发挥着重要作用。原创 2024-04-09 13:41:42 · 10031 阅读 · 0 评论 -
RelayAttention:让大型语言模型更高效地处理长提示符
虽然大型语言模型 (LLM) 近年来取得了非常显著的进展,也在各种自然语言处理任务中展现出强大的能力。然而,LLM 的在实际的应用落地层面也面临着一些实际挑战,其中之一就是效率和成本问题,导致了在垂直行业实际落地的应用非常少。因为现有的 LLM 通常需要大量的计算资源和内存,这限制了它们在实际应用中的部署。特别是在处理长文本输入时,LLM 的效率问题尤为突出。这是因为 LLM 需要存储和处理大量的中间结果,而长文本输入会导致中间结果的数量急剧增加。原创 2024-03-26 12:43:06 · 1213 阅读 · 0 评论 -
Python 的 GIL 时代即将终结,迈向真正的多线程时代
那么,GIL 究竟是什么呢?GIL,即全局解释器锁,虽然不是 Python 特有的,但它是在 CPython 解释器的开发过程中引入的一个概念。简单来说,GIL 就像是一个保护机制,确保在任何时刻只有一个线程能够执行 Python 代码,以维护代码的线程安全。但 GIL 也有它的不足之处它限制了 Python 在多核 CPU 上的并行处理能力,因为不论有多少个线程,一次只能在一个核心上运行,这大大降低了程序的运行效率。原创 2024-03-23 01:00:43 · 893 阅读 · 0 评论 -
LlamaParse:RAG中高效解析复杂PDF的最佳选择
LlamaParse是由 LlamaIndex 创建的一项技术,专门用于高效地解析和表示PDF文件,以便通过 LlamaIndex 框架进行高效检索和上下文增强,特别适用于复杂的PDF文档。它基于RAG(Rule-based Approach with Grammar)技术,能够准确地提取文本、图像、表格等元素,同时保持良好的性能。这项技术的设计初衷是为了处理那些包含嵌入式对象(如表格和图形)的复杂文档,这类文档的处理在以往往往是个挑战。原创 2024-03-22 17:01:10 · 2109 阅读 · 1 评论 -
智能模型新篇章:RAG + Fine-Tuning 混合增强策略
RAG和特定领域微调的结合,为提升大型语言模型的外部知识和领域专长提供了一种强大的解决方案。通过发挥这两种方法的优势,研究人员已经开发出了使大语言模型能够基于事实信息进行推理、适应专业领域,并生成更可解释和可信输出的方法。随着RAG和微调之间的联合作用不断被探索,我们可以预期未来的语言模型将不仅拥有广泛的知识,还能展现出深入的领域专长、推理能力和坚实的事实基础——这是迈向更知识渊博和可靠的AI系统的重要一步。原创 2024-03-20 21:41:22 · 1210 阅读 · 0 评论 -
如何使用 CrewAI 构建协作型 AI Agents
语言模型在翻译、总结和推理方面表现出色。但它们的潜力远不止于此。让大语言模型 (LLM) 具备代理性是充分挖掘其推理潜力的一种方法。AI 智能体就是被赋予适当工具和指令的 LLM,能够自动完成网页浏览、网络抓取、执行 SQL 查询、文件操作等任务。利用 LLM 的推理能力,这些智能体能够根据当前需求选择合适的工具。而且,我们还可以将多个智能体组合起来,共同完成更复杂的任务。当我们谈论如何构建 AI Agents时,首先想到的工具就是 LangChain。原创 2024-03-02 22:13:19 · 2134 阅读 · 0 评论 -
基于LlamaIndex解决RAG的关键痛点
我们讨论了开发 RAG 应用时的 12 个痛点(论文中的 7 个加上另外 5 个),并为它们每一个都提供了相应的解决方案。请看下图,这是根据原论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》中的图表修改而来的。我们把所有 12 个 RAG 痛点及其解决方案汇总到一张表中,现在我们得到了:虽然这份列表并未涵盖所有内容,但它旨在揭示在设计和实施RAG系统过程中所面临的复杂挑战。原创 2024-02-01 17:56:08 · 1765 阅读 · 0 评论 -
如何使用Hugging Face微调大语言模型(LLMs)
微调LLM时,了解你的使用场景和要解决的问题至关重要。这将帮助你选择合适的模型,或者帮助你创建一个数据集来微调你的模型。如果你还没有定义你的使用场景,你可能需要重新思考。并非所有的使用场景都需要微调,建议在微调你自己的模型之前,先评估和尝试已经微调过的模型或基于API的模型。例如,我们将使用以下使用场景:我们想要微调一个模型,它可以基于自然语言指令生成SQL查询,然后可以集成到我们的BI工具中。目标是减少创建SQL查询所需的时间,并使非技术用户更容易创建SQL查询。原创 2024-01-26 13:58:35 · 2727 阅读 · 0 评论 -
如何利用大语言模型(LLM)打造定制化的Embedding模型
在探索大语言模型(LLM)应用的新架构时,知名投资公司向量数据库是预处理流程中系统层面上最关键的部分。它能够高效地存储、比较和检索高达数十亿个嵌入(也就是向量)。那么,为什么要如此强调向量数据库的重要性呢?这是因为计算机虽然功能强大,但并不擅长直接理解文本、图像、音频等人类友好的数据格式。通过将这些数据转换成数值型的“向量”,我们能够让计算机更高效地处理它们。而普通的数据库并不是为了处理这样的向量而设计的,尽管现在随着生成式 AI 技术的普及,它们开始逐渐支持向量操作。原创 2024-01-09 11:53:33 · 2681 阅读 · 0 评论 -
2023检索增强生成技术(RAG)研究进展
大语言模型(Large Language Models,LLMs)已经成为我们生活和工作中不可或缺的一部分,它们以惊人的多功能性和智能,转变了我们与信息的互动方式。然而,尽管拥有令人瞩目的能力,这些模型仍存在缺陷。它们可能产生误导性的“幻觉”(hallucinations),依赖潜在的过时信息,处理特定知识时效率不高,专业领域的深度不够,推理能力也有所欠缺。在真实世界的应用中,数据需要持续更新以反映最新进展,并且生成的内容必须是透明并可追溯的,这对于管理成本和保护数据隐私至关重要。因此,仅依赖这些“原创 2024-01-08 11:57:57 · 1454 阅读 · 0 评论 -
加速你的Python代码:向量化技术揭秘
向量化(Vectorization)是一种执行数组操作的技术,它通过 NumPy 库加以实现。这个技术背后的原理是,它能够一次性对数组或序列中的所有元素进行操作处理,而不像‘for’循环那样逐行进行。在不使用循环的情况下,向量化可以加快 Python 代码的速度。利用这样的方法可以有效地减少代码运行所需的时间。我们可以在 Python 中使用向量化来完成很多事情,例如缩放器乘法或点积乘法。今天我们将探讨几个可以用向量化来替代 Python 循环的实例。这将帮助你在编程时节省宝贵时间,并提高编码技巧。原创 2024-01-06 23:38:03 · 881 阅读 · 0 评论 -
RAG实战案例:如何基于 LangChain 实现智能检索生成系统
检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 (LLM),此类模型会使用检索到的信息生成可供阅读的文本回复)结合在一起。通过从更多数据源添加背景信息,以及通过训练来补充 LLM 的原始知识库,检索增强生成能够提高搜索体验的相关性。这能够改善大型语言模型的输出,但又无需重新训练模型。原创 2023-12-22 00:20:24 · 4469 阅读 · 0 评论 -
RAG检索增强技术在知识库智能检索场景下的应用实践
本文我们主要探讨了知识检索增强(Retrieval-Augmented Generation, RAG)技术的关键评估方法和行业应用,以及几种现有的技术栈选择及其优缺点。首先,关于RAG的效果评估,我们提到了两种主要的评估方式:独立评估和端到端评估。独立评估包括检索评估和生成评估,重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标,以及人工或GPT模型的评估方法,以获得更全面的效果评价。原创 2023-12-18 22:43:05 · 5796 阅读 · 0 评论 -
AnythingLLM:基于RAG方案构专属私有知识库(开源|高效|可定制)
继OpenAI和Google的产品发布会之后,大模型的能力进化速度之快令人惊叹,然而,对于很多个人和企业而言,为了数据安全不得不考虑私有化部署方案,从GPT-4发布以来,国内外的大模型就拉开了很明显的差距,能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。原创 2023-12-13 00:16:49 · 15645 阅读 · 1 评论 -
Google 发布最强大模型Gemini,能力与GPT-4相当
Gemini 是一个多模式模型系列,在图像、音频、视频和文本领域展示了真正强大的功能。其中功能最强大的模型在 32 个基准测试中的 30 个中提升了最先进水平,其中包括 12 个流行文本和推理基准测试中的 10 个、9 个图像理解基准测试中的 9 个、6 个视频理解基准测试中的 6 个以及 5 个语音基准测试中的 5 个识别和语音翻译基准。Gemini Ultra 是第一个在 57 个科目的 MMLU 上达到人类专家表现且得分高于 90% 的模型。原创 2023-12-07 15:32:41 · 998 阅读 · 0 评论 -
大模型在企业知识库场景的落地思考
今天我们深入探讨了企业在知识库场景下运用大型模型的实践策略。我们首先分析了大型模型在企业实际应用中所面临的挑战,包括算力、调度和数据等方面的问题。随后,我们提出了一系列解决方案,包括构建高效管理和自适应扩展的算力资源体系,开发或引进先进的调度系统,以及建立完善的数据处理流程。最后,我们强调了企业在实施大型模型实践策略时,必须关注数据安全、隐私和合规问题,以确保实践方案的可行性和可持续性。原创 2023-12-06 18:32:10 · 2549 阅读 · 0 评论 -
埃隆·马斯克的 AI 聊天机器人 Grok 已经上线
Grok 是根据科幻经典《银河系漫游指南》中的好奇人工智能进行建模的。它旨在成为一个机智、幽默、知识渊博的 AI 助手,可以就广泛的话题进行自然对话。在 Twitter 上分享的演示中,Grok 显示出它可以理解幽默并以自己的笑话和有趣的俏皮话回应。这种能够开玩笑的能力使得与其他更机械化的聊天机器人相比,与 Grok 聊天更加有趣和吸引人。Grok 的支柱是 Grok-1,xAI 的最新大型语言模型。Grok-1 拥有 632 亿个参数,比 GPT-3.5 多了一倍。原创 2023-11-07 13:02:36 · 423 阅读 · 0 评论 -
Danswer 接入 Llama 2 模型 | 免费在 Google Colab 上托管 Llama 2 API
前面在介绍本地部署免费开源的知识库方案时,已经简单介绍过 Danswer《Danswer 快速指南:不到15分钟打造您的企业级开源知识问答系统》,它支持即插即用不同的 LLM 模型,可以很方便的将本地知识文档通过不同的连接器接入到 Danswer,然后实现本地基于知识库的语义检索。它是完全开源的(MIT 许可证)并且免费使用。本文主要介绍了如何在Google Colab上托管Llama 2模型,并将其接入Danswer。原创 2023-11-05 23:26:22 · 966 阅读 · 0 评论 -
如何使用LoRA和PEFT微调 Mistral 7B 模型
对于大模型在一些安全级别较高的领域,比如在金融服务领域实施人工智能解决方案时,面临的最大挑战之一是数据隐私、安全性和监管合规性。因为担心数据泄露的问题,很多银行或机构都会回避利用人工智能的优势潜力,尤其是对于GPT-4这样的模型,在国内应用基本上是不太现实的问题。为了克服这一挑战并充分利用人工智能的力量,一个可行的办法是针对特定任务进行人工智能或大型语言模型(LLM)的微调,以确保数据安全地保存在您的私有服务器或虚拟私有云中。原创 2023-10-27 00:07:48 · 1501 阅读 · 0 评论 -
AutoTrain:在Google Colab上微调LLM最简单的方法
在前面的文章中,我们介绍过《GPT-LLM-Trainer:如何使用自己的数据轻松快速地微调和训练LLM》,主要介绍了使用工具简化模型训练的所有复杂步骤,全程只需输入任务描述,系统就会从头开始生成数据集,将其转换为你想要的任何格式,并为你进行模型微调。你可以在Google Colab上轻松的训练大型语言模型。GPT-LLM-Trainer 模型训练器利用GPT-4模型来简化整个过程。有没有更简单的方法来微调LLM模型?如果你不会编码或者只是一名经验丰富的软件工程师,如何快速加入呢?原创 2023-10-24 18:28:24 · 1023 阅读 · 2 评论 -
EmbedChain:比LangChain更加轻量化的LLM框架
在之前的文章中,我们研究了如何使用LangChain结合大型语言模型(LLM)API来构建用户友好且直观的聊天机器人。现在,我们将探索一个新的Python包来进一步简化LangChain的实现。只需3-4行代码,我们就可以轻松地与任何外部数据进行通信!这个神奇的包叫Embedchain!⭐这些库各有优点。我认为LangChain的性能更好,并且具备更多功能。另一方面,Embedchain则更容易使用,并且免费提供开源的语言模型。总之,这两个库都旨在为您创建专属的语言模型。原创 2023-10-24 09:37:05 · 670 阅读 · 0 评论 -
如何利用验证链技术减少大型语言模型中的幻觉
随着大型语言模型在自然语言处理领域取得了惊人的进步。相信深度使用过大模型产品的朋友都会发现一个问题,就是有时候在上下文内容比较多,对话比较长,或者是模型本身知识不了解的情况下与GPT模型对话,模型反馈出来的结果都是看似合理却不是我们需要的答案,实际上就是大模型出现了“幻觉”,即生成不真实的信息或虚构的回答。这对模型的可信度产生了负面影响。验证链技术为减少模型中的幻觉提供了一种有效方法。它要求模型在生成每个断言时,同时提供一个证据链以支持该断言。这强制模型生成更加符合事实和逻辑的输出,减少臆造信息的概率。原创 2023-10-23 11:58:56 · 489 阅读 · 0 评论 -
如何选择最适合你的LLM优化方法:全面微调、PEFT、提示工程和RAG对比分析
自从ChatGPT问世以来,全球各地的企业都迫切希望利用大型语言模型(LLMs)来提升他们的产品和运营。虽然LLMs具有巨大的潜力,但存在一个问题:即使是最强大的预训练LLM也可能无法直接满足你的特定需求。定制输出:你可能需要一个具有独特结构或风格的应用程序,例如可以评分并提供简洁反馈点评文章质量的工具。缺少上下文:预训练LLM可能对于你应用程序中重要文件一无所知,例如针对某系列产品进行技术咨询的聊天机器人。如果这些产品的使用手册并未包含在LLM的训练数据中,那么它的准确性可能会受到影响。专业词汇。原创 2023-10-17 17:03:59 · 1037 阅读 · 0 评论 -
未来展望:大型语言模型与 SQL 数据库集成的前景与挑战
随着 GPT-3、PaLM 和 Anthropic 的 Claude 等大型语言模型 (LLM) 的出现引发了自然语言在人工智能领域的一场革命。这些模型可以理解复杂的语言、推理概念并生成连贯的文本。这使得各种应用程序都能够使用对话界面。然而,绝大多数企业数据都存储在结构化 SQL 数据库中,例如 PostgreSQL、MySQL 和 TiDB。通过自然对话无缝访问和分析这些数据仍然具有挑战性。最近新的研究提出了增强LLM与 SQL 数据库集成的技术,重点是跨领域和跨组合泛化。原创 2023-10-16 00:45:19 · 915 阅读 · 0 评论 -
AI情绪检测器:准确检测并解读人类情绪
情绪分析在数字世界中被广泛应用,用于评估消费者对产品或品牌的情绪。然而,在线下环境中,用户与品牌和产品进行互动的场所(如零售店、展示厅)仍然面临着自动测量用户反应的挑战。使用人工智能进行面部表情情绪检测可以成为衡量消费者对内容和品牌参与度的可行替代方案。ParallelDots结合了心理学、人类表情和人工智能,开发出一种能够自动识别个人脸上不同情绪的面部情绪检测算法。该算法能够实时识别七种不同类型的情绪状态。原创 2023-10-11 10:57:07 · 3424 阅读 · 2 评论 -
GPT-Engineer:一个提示就能生成完整应用|全自动代码生成神器
对于编程初学者或者没有太多时间深入学习开发的人来说,GPT Engineer这个新型人工智能工具具有非常大的吸引力。它可以根据简单的自然语言提示,自动生成完整的应用程序代码,极大地简化了软件开发过程。GPT Engineer通过大规模预训练语言模型获得了强大的代码生成能力。它可以解析提示中的需求,根据指定的编程语言选择合适的框架,并生成遵循最佳实践的、可直接使用的代码。这使得软件开发无需手动编写重复代码,整个过程可以在几分钟内完成。原创 2023-10-10 09:33:47 · 1499 阅读 · 0 评论 -
OnPrem.LLM:一个轻量级 Python 库,用于使用私有数据运行本地大型语言模型
OnPrem.LLM是一个简单的 Python 库,用于使用非公开数据运行本地大型语言模型。它默认使用的 7B 参数模型,你也可以通过提供使用默认的 13B 模型。你还可以提供不同模型的 URL。OnPrem.LLM 主要受到privateGPT项目的启发,旨在帮助将本地 LLM 集成到实际应用程序中。"""原创 2023-10-08 09:50:12 · 755 阅读 · 0 评论 -
Chainlit vs Streamlit和Gradio:为什么Chainlit是开发聊天机器人不错的选择
随着大语言模型(LLM)的快速发展,国内外越来越多的大模型蜂拥而至,真可谓是百花齐放,相当热闹的掀起了一次百模大战,甚至是千模大战。然而,面对这么多的大模型,个个都声称占据排行榜第一,到底实际效果如何,最终还得需要花大量时间去进行验证,有没有比较简单快速的方式来实现模型的快速体验呢。目前关于这方面比较成熟的方案包括 Streamlit、Gradio 等Web UI框架,基本上想要实现 ChatGPT/Claude 类似的聊天机器人或者文档机器人,只需要很少量的代码就可以实现。原创 2023-10-01 11:52:56 · 1646 阅读 · 0 评论 -
Open Interpreter:OpenAI Code Interpreter的开源实现|本地化|可联网
今年7月,OpenAI发布了一个强大的插件,名为Code Interpreter(代码解释器),它可以根据用户的自然语言需求生成并执行代码解决方案,帮助完成各种任务,如数据分析、图表创建和文件编辑等。尽管OpenAI的GPT-4代码解释器改变了游戏规则,但它也有一些特定的限制。OpenAI的解决方案是托管的,它在受控的远程环境中运行,限制了开发人员对本地设置的控制。这导致了一些明显的限制,比如无法访问互联网、有限的预安装软件包、最大上传大小为100MB以及运行时间限制为120秒。原创 2023-09-13 10:12:35 · 1524 阅读 · 0 评论 -
gpt-author v2:一款自动创作小说的AI工具
是一个自动创作小说的AI,它可以在几分钟内根据用户提供的初始提示和章节数生成一整本奇幻小说,并自动打包为电子书格式。该项目利用 GPT-4、Stable Diffusion API 和 Anthropic API 等一系列大模型调用组成的链来生成原创奇幻小说。此外,它还可以根据这本书创建一个原创封面,并将整本作品一次性转换为PDF或电子书格式,并且制作成本低廉,制作一本15章的小说仅需4美元成本,并且该工具是开源的,可以免费使用。这是否意味着小说家将被人工智能取代?原创 2023-09-08 09:45:00 · 1293 阅读 · 0 评论 -
LangChain Memory 结合LLMs:让你的聊天机器人拥有记忆力
在快速发展的人工智能领域,聊天机器人已成为不可或缺的工具,它们提供全方位的服务,从回答客户查询到提供个性化帮助。然而,传统的聊天机器人通常无法记住对话上下文,导致有时显得脱节且缺乏人情味。这是因为大多数聊天机器人都是无状态的,将每个用户查询视为独立交互,不参考之前的交换。为了解决这个限制并提升对话体验,Langchain对话记忆的概念被引入。这一创新解决方案使聊天机器人能够记住过去的交互,并根据上下文生成更相关的响应,打造更流畅、更贴近人性化的对话。原创 2023-09-05 17:10:40 · 547 阅读 · 0 评论 -
使用OpenAI CLIP进行文本到图像和图像到图像的搜索
在现如今信息量爆炸的时代,像政府、公安和零售等行业面临着海量的数据处理需求。比如,在车辆卡口数据中,需要快速检索和匹配大量的信息,找到嫌疑车辆进行布控;在物品和商品识别方面,需要进行相似性搜索,找到相关性证据,还有在一些重大节假日,安保问题以及重点人员的布控,以前我们只能基于结构化数据使用Flink或者Spark等大数据框架做海量大数据的实时比对。如果在只有一张图片的时候,如何从庞大的数据仓库中快速检索找到相似性TopN条结果记录也成为了一个重要的业务场景。原创 2023-09-05 17:04:07 · 3148 阅读 · 1 评论 -
LangChain Prompt Engineering和LLMs:如何让语言模型更好地理解和生成文本
在机器学习中,我们一直依赖不同的模型来完成不同的任务。随着多模态和大型语言模型 (LLM)的引入,这种情况发生了变化。过去,我们需要为分类、命名实体识别(NER)、问答(QA)等任务使用不同的模型。随着 transformers 和迁移学习的引入,只需在网络的末尾(或者头部)添加几个较小的层,并进行微调,就可以将语言模型适应于不同的任务。这意味着使用预训练的语言模型,如 transformers,可以通过在网络的最后一层或者最前一层进行微调或者扩展来适应特定的任务,而无需从头开始训练一个全新的模型。原创 2023-09-05 16:56:24 · 255 阅读 · 0 评论 -
降低LLM的幻觉风险:实用策略与技术
近年来,大语言模型的快速发展为构建更智能和更人性化的AI系统提供了很多可能性。像GPT-3.5、GPT-4、Bard、Claude 2和LLaMa 2等大语言模型 (LLM) 在个人助理或聊天机器人应用领域展示了强大的潜力,可以生成流畅而令人惊叹的响应来回答用户的问题。然而,随着越来越多的资金涌入生成式人工智能领域,许多初创公司纷纷拥抱这些创新技术。尽管这些模型生成的响应看起来很真实,但它们仍然存在产生幻觉或编造答案的倾向。这可能导致用户获得错误或误导性信息,最终损害用户体验和信任。原创 2023-09-05 16:42:38 · 628 阅读 · 0 评论 -
LangChain 与 LangSmith:构建与微调支持LLM的智能应用双重攻略
随着人工智能领域的不断发展,自然语言处理 (NLP) 技术也在不断进步。近年来,革命性的大型语言模型 (LLM) 已经成为了 NLP 技术的重要组成部分。作为一种可以理解并生成类似人类的文本的技术,LLM 已经在机器翻译、情感分析、聊天机器人和内容生成等任务中发挥了重要作用。在这个以语言为桥梁的世界中,LLM 的应用前景无限,而 LangChain 创新平台则是充分利用 LLM 潜力的重要手段。在本文中,我们将探索 LLM 的奇迹,并介绍如何使用 LangChain 构建 LLM 支持的应用程序。原创 2023-09-05 16:36:17 · 4188 阅读 · 2 评论 -
QLoRA:量化LLM的高效微调策略与实践
在大型语言模型(LLM)领域,微调是提高性能和调整行为的关键过程。然而,由于内存需求巨大,对于大型模型进行微调可能非常昂贵。最近,华盛顿大学发表了一项关于解决这一问题的创新方案——QLoRA(Quantized Low-Rank Adapter)。QLoRA是一种新的微调大型语言模型(LLM)的方法,它能够在节省内存的同时保持速度。其工作原理是首先将LLM进行4位量化,从而显著减少模型的内存占用。接着,使用低阶适配器(LoRA)方法对量化的LLM进行微调。原创 2023-09-05 10:17:32 · 3479 阅读 · 0 评论 -
Shell-AI:基于LLM实现自然语言理解的CLI工具
随着AI技术的普及,部分技术领域的门槛逐步降低,比如非科班出身,非技术专业,甚至从未涉足技术领域,完全不懂服务器部署和运维,如今可以依托AI大模型非常轻松的掌握和使用相关技术,来解决一些实际问题。比如在不同的操作系统中总会避免不了需要接触和使用CLI命令行界面,许多任务都需要使用命令行界面进行操作。而对于非技术专业人员来说,在完全没有学习Linux或Shell脚本命令的情况下可能会非常困难,甚至在没基础的情况下现学也会遇到很多问题,止步不前。为了解决这个问题,我们今天介绍一个名为Shell-AI。原创 2023-09-02 23:12:02 · 671 阅读 · 0 评论 -
Gorilla LLM:连接海量 API 的大型语言模型
在当今这个数字化时代,大型语言模型(LLM)的发展突飞猛进,国内外涌现的大型语言模型(LLM)可谓是百花齐放,不管是开源还是闭源都出现了一些非常优秀的模型,然而在利用LLM进行应用开发的时候,会发现每个模型从部署、到训练、微调、API接口开发、Prompt提示词格式等方面都存在或多或少的差异,导致如果一个产品需要接入不同的LLM或者快速切换模型的时候变得更加复杂,使用没有那么方便,也不便于维护。原创 2023-08-29 23:01:48 · 845 阅读 · 0 评论 -
LangChain-Chatchat:基于LangChain和ChatGLM2-6B构建本地离线私有化知识库
自从去年GPT模型火爆以来,降低了很多个人和企业进入人工智能领域的门槛,对于大模型尤其是开源的大模型国内应该比较受关注和期待,毕竟高额的成本也能将不少人阻挡在门外,其次,大家都希望在产品中集成LLM的能力,结合业务来落地智能化应用,提升产品的竞争力,最直接的应用就是构建知识库。原创 2023-08-27 22:24:40 · 4601 阅读 · 0 评论