FrenzyTechAI的博客

LlamaParse是由 LlamaIndex 创建的一项技术，专门用于高效地解析和表示PDF文件，以便通过 LlamaIndex 框架进行高效检索和上下文增强，特别适用于复杂的PDF文档。它基于RAG（Rule-based Approach with Grammar）技术，能够准确地提取文本、图像、表格等元素，同时保持良好的性能。这项技术的设计初衷是为了处理那些包含嵌入式对象（如表格和图形）的复杂文档，这类文档的处理在以往往往是个挑战。

语言模型在翻译、总结和推理方面表现出色。但它们的潜力远不止于此。让大语言模型 (LLM) 具备代理性是充分挖掘其推理潜力的一种方法。AI 智能体就是被赋予适当工具和指令的 LLM，能够自动完成网页浏览、网络抓取、执行 SQL 查询、文件操作等任务。利用 LLM 的推理能力，这些智能体能够根据当前需求选择合适的工具。而且，我们还可以将多个智能体组合起来，共同完成更复杂的任务。当我们谈论如何构建 AI Agents时，首先想到的工具就是 LangChain。

OpenAI DevDay 才过去仅仅一周时间，伴随着开发者大会上发布的一系列重磅升级和新特性，无疑这样的进化速度让广大网友炸锅了，其火热程度可见一斑。，排名前 50 名的 AI 工具在 10 个月中累计被访问 240 亿次，。似乎出现这样的结果大家并不感觉到意外，从发布会结束后，紧接着11月8日，ChatGPT和API发生了一场全球大宕机，故障时间断断续续超过了两个小时。足以看出很多人都已经迫不及待的想尝试 OpenAI 发布的一系列全新的AI能力，所以注册的用户数暴增也是可以想见的。

OpenAI 在 2023 年 11 月 7 日举行首届开发者大会，此次展会的亮点无疑是 GPT-4 Turbo 的亮相，它是 OpenAI 著名的 GPT-4 模型的升级版。GPT-4 Turbo 有两种变体：一种用于文本分析，另一种能够理解文本和图像。GPT-4 Turbo 的上下文窗口扩展为 128,000 个标记或大约 100,000 个单词，比其前身 GPT-4 大四倍。该模型还提供对截至 2023 年 4 月的知识截止日期的最新信息的访问。

Grok 是根据科幻经典《银河系漫游指南》中的好奇人工智能进行建模的。它旨在成为一个机智、幽默、知识渊博的 AI 助手，可以就广泛的话题进行自然对话。在 Twitter 上分享的演示中，Grok 显示出它可以理解幽默并以自己的笑话和有趣的俏皮话回应。这种能够开玩笑的能力使得与其他更机械化的聊天机器人相比，与 Grok 聊天更加有趣和吸引人。Grok 的支柱是 Grok-1，xAI 的最新大型语言模型。Grok-1 拥有 632 亿个参数，比 GPT-3.5 多了一倍。

前面在介绍本地部署免费开源的知识库方案时，已经简单介绍过 Danswer《Danswer 快速指南：不到15分钟打造您的企业级开源知识问答系统》，它支持即插即用不同的 LLM 模型，可以很方便的将本地知识文档通过不同的连接器接入到 Danswer，然后实现本地基于知识库的语义检索。它是完全开源的（MIT 许可证）并且免费使用。本文主要介绍了如何在Google Colab上托管Llama 2模型，并将其接入Danswer。

对于大模型在一些安全级别较高的领域，比如在金融服务领域实施人工智能解决方案时，面临的最大挑战之一是数据隐私、安全性和监管合规性。因为担心数据泄露的问题，很多银行或机构都会回避利用人工智能的优势潜力，尤其是对于GPT-4这样的模型，在国内应用基本上是不太现实的问题。为了克服这一挑战并充分利用人工智能的力量，一个可行的办法是针对特定任务进行人工智能或大型语言模型(LLM)的微调，以确保数据安全地保存在您的私有服务器或虚拟私有云中。

在前面的文章中，我们介绍过《GPT-LLM-Trainer：如何使用自己的数据轻松快速地微调和训练LLM》，主要介绍了使用工具简化模型训练的所有复杂步骤，全程只需输入任务描述，系统就会从头开始生成数据集，将其转换为你想要的任何格式，并为你进行模型微调。你可以在Google Colab上轻松的训练大型语言模型。GPT-LLM-Trainer 模型训练器利用GPT-4模型来简化整个过程。有没有更简单的方法来微调LLM模型？如果你不会编码或者只是一名经验丰富的软件工程师，如何快速加入呢？

在之前的文章中，我们研究了如何使用LangChain结合大型语言模型（LLM）API来构建用户友好且直观的聊天机器人。现在，我们将探索一个新的Python包来进一步简化LangChain的实现。只需3-4行代码，我们就可以轻松地与任何外部数据进行通信！这个神奇的包叫Embedchain！⭐这些库各有优点。我认为LangChain的性能更好，并且具备更多功能。另一方面，Embedchain则更容易使用，并且免费提供开源的语言模型。总之，这两个库都旨在为您创建专属的语言模型。

随着 GPT-3、PaLM 和 Anthropic 的 Claude 等大型语言模型 (LLM) 的出现引发了自然语言在人工智能领域的一场革命。这些模型可以理解复杂的语言、推理概念并生成连贯的文本。这使得各种应用程序都能够使用对话界面。然而，绝大多数企业数据都存储在结构化 SQL 数据库中，例如 PostgreSQL、MySQL 和 TiDB。通过自然对话无缝访问和分析这些数据仍然具有挑战性。最近新的研究提出了增强LLM与 SQL 数据库集成的技术，重点是跨领域和跨组合泛化。

今天这篇文章将向大家详细介绍如何对Code Llama进行微调，让它变成适合 SQL 开发的有利工具。对于编程开发任务，经过适当微调后的 Code Llama 的性能通常都会比普通的 Llama 强很多，特别是当我们针对具体任务进行优化时:使用这个文本查询及其对应的SQL查询集合进行训练使用Lora方法，将基础模型的权重量化为int8，冻结权重，仅对适配器进行训练本文大多参考了项目，同时也进行了一定的改进与优化通过上述几点方法，相信我们能使Code Llama专注于SQL开发领域，获得更好的效果。

对于编程初学者或者没有太多时间深入学习开发的人来说,GPT Engineer这个新型人工智能工具具有非常大的吸引力。它可以根据简单的自然语言提示,自动生成完整的应用程序代码,极大地简化了软件开发过程。GPT Engineer通过大规模预训练语言模型获得了强大的代码生成能力。它可以解析提示中的需求,根据指定的编程语言选择合适的框架,并生成遵循最佳实践的、可直接使用的代码。这使得软件开发无需手动编写重复代码,整个过程可以在几分钟内完成。

OnPrem.LLM是一个简单的 Python 库，用于使用非公开数据运行本地大型语言模型。它默认使用的 7B 参数模型，你也可以通过提供使用默认的 13B 模型。你还可以提供不同模型的 URL。OnPrem.LLM 主要受到privateGPT项目的启发，旨在帮助将本地 LLM 集成到实际应用程序中。"""

随着大语言模型（LLM）的快速发展，国内外越来越多的大模型蜂拥而至，真可谓是百花齐放，相当热闹的掀起了一次百模大战，甚至是千模大战。然而，面对这么多的大模型，个个都声称占据排行榜第一，到底实际效果如何，最终还得需要花大量时间去进行验证，有没有比较简单快速的方式来实现模型的快速体验呢。目前关于这方面比较成熟的方案包括 Streamlit、Gradio 等Web UI框架，基本上想要实现 ChatGPT/Claude 类似的聊天机器人或者文档机器人，只需要很少量的代码就可以实现。

今年7月，OpenAI发布了一个强大的插件，名为Code Interpreter（代码解释器），它可以根据用户的自然语言需求生成并执行代码解决方案，帮助完成各种任务，如数据分析、图表创建和文件编辑等。尽管OpenAI的GPT-4代码解释器改变了游戏规则，但它也有一些特定的限制。OpenAI的解决方案是托管的，它在受控的远程环境中运行，限制了开发人员对本地设置的控制。这导致了一些明显的限制，比如无法访问互联网、有限的预安装软件包、最大上传大小为100MB以及运行时间限制为120秒。

是一个自动创作小说的AI，它可以在几分钟内根据用户提供的初始提示和章节数生成一整本奇幻小说，并自动打包为电子书格式。该项目利用 GPT-4、Stable Diffusion API 和 Anthropic API 等一系列大模型调用组成的链来生成原创奇幻小说。此外，它还可以根据这本书创建一个原创封面，并将整本作品一次性转换为PDF或电子书格式，并且制作成本低廉，制作一本15章的小说仅需4美元成本，并且该工具是开源的，可以免费使用。这是否意味着小说家将被人工智能取代？

在快速发展的人工智能领域，聊天机器人已成为不可或缺的工具，它们提供全方位的服务，从回答客户查询到提供个性化帮助。然而，传统的聊天机器人通常无法记住对话上下文，导致有时显得脱节且缺乏人情味。这是因为大多数聊天机器人都是无状态的，将每个用户查询视为独立交互，不参考之前的交换。为了解决这个限制并提升对话体验，Langchain对话记忆的概念被引入。这一创新解决方案使聊天机器人能够记住过去的交互，并根据上下文生成更相关的响应，打造更流畅、更贴近人性化的对话。

在现如今信息量爆炸的时代，像政府、公安和零售等行业面临着海量的数据处理需求。比如，在车辆卡口数据中，需要快速检索和匹配大量的信息，找到嫌疑车辆进行布控；在物品和商品识别方面，需要进行相似性搜索，找到相关性证据，还有在一些重大节假日，安保问题以及重点人员的布控，以前我们只能基于结构化数据使用Flink或者Spark等大数据框架做海量大数据的实时比对。如果在只有一张图片的时候，如何从庞大的数据仓库中快速检索找到相似性TopN条结果记录也成为了一个重要的业务场景。

在机器学习中，我们一直依赖不同的模型来完成不同的任务。随着多模态和大型语言模型 (LLM)的引入，这种情况发生了变化。过去，我们需要为分类、命名实体识别（NER）、问答（QA）等任务使用不同的模型。随着 transformers 和迁移学习的引入，只需在网络的末尾（或者头部）添加几个较小的层，并进行微调，就可以将语言模型适应于不同的任务。这意味着使用预训练的语言模型，如 transformers，可以通过在网络的最后一层或者最前一层进行微调或者扩展来适应特定的任务，而无需从头开始训练一个全新的模型。

随着人工智能领域的不断发展，自然语言处理 (NLP) 技术也在不断进步。近年来，革命性的大型语言模型 (LLM) 已经成为了 NLP 技术的重要组成部分。作为一种可以理解并生成类似人类的文本的技术，LLM 已经在机器翻译、情感分析、聊天机器人和内容生成等任务中发挥了重要作用。在这个以语言为桥梁的世界中，LLM 的应用前景无限，而 LangChain 创新平台则是充分利用 LLM 潜力的重要手段。在本文中，我们将探索 LLM 的奇迹，并介绍如何使用 LangChain 构建 LLM 支持的应用程序。

Python 是一种广泛使用的编程语言，通常与其他语言编写的库一起使用。在这种情况下，如何提高性能和内存使用率可能会变得很复杂。但是，现在有一个解决方案，可以轻松地解决这些问题 - 分析器。分析器旨在找出哪些代码段占用时间最长或使用最多内存。而 Scalene 则是一个出色的 Python 分析器，它针对 CPU、GPU 和内存进行优化。如果您想更快地重构有问题的部分，并获得高水平的性能，Scalene 可以与 AI 建议相结合，帮助您达到目标。

随着AI技术的普及，部分技术领域的门槛逐步降低，比如非科班出身，非技术专业，甚至从未涉足技术领域，完全不懂服务器部署和运维，如今可以依托AI大模型非常轻松的掌握和使用相关技术，来解决一些实际问题。比如在不同的操作系统中总会避免不了需要接触和使用CLI命令行界面，许多任务都需要使用命令行界面进行操作。而对于非技术专业人员来说，在完全没有学习Linux或Shell脚本命令的情况下可能会非常困难，甚至在没基础的情况下现学也会遇到很多问题，止步不前。为了解决这个问题，我们今天介绍一个名为Shell-AI。

简而言之，ChatGPT Enterprise是 OpenAI 服务的转变，汇集了最好的人工智能功能，并确保符合企业的特定要求。它不仅仅是一个升级，而是为企业提供先进且符合安全需求的工具。对于那些担心业务数据安全的企业来说，ChatGPT Enterprise将成为他们寻找的解决方案。它结合了先进的人工智能功能和出色的安全性能。随着企业在数字领域的不断发展，像ChatGPT Enterprise这样的工具无疑将成为引领潮流的火炬，带来安全性、创新和效率方面的突破。

在当今这个数字化时代，大型语言模型（LLM）的发展突飞猛进，国内外涌现的大型语言模型（LLM）可谓是百花齐放，不管是开源还是闭源都出现了一些非常优秀的模型，然而在利用LLM进行应用开发的时候，会发现每个模型从部署、到训练、微调、API接口开发、Prompt提示词格式等方面都存在或多或少的差异，导致如果一个产品需要接入不同的LLM或者快速切换模型的时候变得更加复杂，使用没有那么方便，也不便于维护。

自从去年GPT模型火爆以来，降低了很多个人和企业进入人工智能领域的门槛，对于大模型尤其是开源的大模型国内应该比较受关注和期待，毕竟高额的成本也能将不少人阻挡在门外，其次，大家都希望在产品中集成LLM的能力，结合业务来落地智能化应用，提升产品的竞争力，最直接的应用就是构建知识库。

至于为什么需要做企业知识库，知识问答检索系统，以及现有GPT模型在企业应用中存在哪些劣势，今天在这里就不再赘述了，前面介绍其他构建知识库案例的文章中基本上都有讲过，如果您有兴趣可以去翻翻历史文章来了解。今天就直接进入主题，介绍一款还不错的开源项目Danswer，相较于其他开源的产品来说，从 Danswer 的设计上来来看确实存在一定的优势和可以参考的地方，其中最值得一提的还属Connectors连接器。目前官方已经提供了12。

生成式人工智能领域的发展继续加速，大型语言模型 (LLM) 的用途范围不断扩大。这些用途跨越不同的领域，包括个人助理、文档检索以及图像和文本生成。ChatGPT 等突破性应用程序为公司进入该领域并开始使用这项技术进行构建铺平了道路。大公司正在构建自己的模型，例如 Meta 及其新发布的 Llama 2，以及 Microsoft 与 OpenAI 和 Meta 的合作伙伴关系，这表明该领域存在大量投资。Hugging Face 等独角兽初创公司以 40 亿美元的估值筹集资金。

自从大模型被炒的越来越火之后，似乎国内涌现出很多希望基于大模型构建本地知识库的需求，大概在5月底的时候，当时Quivr发布了第一个0.0.1版本，第一个版本仅仅只是使用LangChain技术结合OpenAI的GPT模型实现了一个最基本的架子，功能并不够完善，但可以研究研究思路，当时 Quivr 通过借助于GPT的模型能力，选择Supabase构建向量数据库来实现个人知识库还算是一个不错的选择，自此一直有在关注 Quivr 的进展，基本上Quivr的更新频率还是比较高的，5月底写了一篇关于如何在本地基于Qui

LLaMA 2 是 Meta 开发的大型语言模型，是 LLaMA 1 的后继者。LLaMA 2 可通过 AWS、Hugging Face 等提供商免费用于研究和商业用途。LLaMA 2 预训练模型接受了 2 万亿个标记的训练，上下文长度是 LLaMA 1 的两倍。其微调模型已经接受了超过 100 万个人工注释的训练。本文包含 LLama 2 所有相关资源，可帮助您快速入门。它包括以下链接：LLaMA 2 是什么？Lllama 2在线体验Llama2 背后的研究Llama 2 基准测试有多好。

官方地址：https://monica.im/?c=X0OHBN1S （仅限今天，通过这里注册可免费获取100次Monica查询）Monica 是一款由 ChatGPT API 提供支持的扩展程序，它可以与您讨论任何事情，使用 80 多个模板生成文案，以及翻译、改写和解释任何网页上的文本。它在所有网站上都可用，可以通过按 Cmd+M 来访问。🔥你的 GPT-4 人工智能助手ChatGPT Plugin。Monica在侧边栏能够回答任何复杂的问题。

自从Open AI发布的ChatGPT火爆之后，国内外陆陆续续衍生了很多基于GPT大语言模型的API接口开发的小应用，当GPT对于普通的Chat聊天有Token限制，无法输入大文本或者大文件无法与外部数据进行对话，一时间基于OpenAI Embeddings和LangChain的解决方案和产品也发布了，像ChatPDF、FileChat、ChatFiles等一些列APP几乎无一例外都是采用文件分割、计算向量相似度的方案。

如果觉得内置的这些角色都不符合你的要求，也可以自己来创建一个角色，要是不知道怎么创建，so easy！直接让AI角色设定师来帮你创建。进入AI角色设定师聊天窗口，直接输入一个角色名称，或者不好确定名称，也可以直接把你的角色需求用文字描述清楚即可，它会自动帮你生成一个聊天机器人的Prompt然后把生成的Prompt全部信息拷贝到【创建AI角色】窗口的【角色设定Prompt】文本框中，这样你可以随意建自己想要的Prompt，进行AI精准对话，是不是效率一下子提升一大截。