西京刀客

文章主要讨论了在使用大模型API（如OpenAI、DeepSeek、Moonshot等）时，如何通过max_tokens和max_completion_tokens参数来控制生成内容的长度和计费。max_tokens参数用于限制一次请求中包括提示和生成内容的，总token数量，而max_completion_tokens则仅限制生成内容的token数量。OpenAI官方解释称这一更改是为了避免用户对max_tokens参数的误解，并提高API的直观性和一致性

**FIM 是一种强大的生成技术，特别适合需要在上下文中间插入内容的场景**。通过明确的前缀和后缀，模型可以更好地理解上下文，从而生成高质量的中间内容。这种技术在代码生成、文档编辑和自然语言生成中都有广泛的应用。

为了使文本模型在代码和应用程序中发挥作用，而不仅仅是生成任意的创意信息，`模型需要经过预训练，以特定的格式返回数据。` 通常，使用文本模型感觉像是一种聊天体验：你以某种角色提问，你会得到一个答案，就像来自另一个角色的人的回答一样。考虑到这一点，`模型提供商训练他们的模型，并用一些元数据（例如角色）来提供他们最初的训练数据。这使得模型能够以某种格式做出响应，并用于许多复杂的应用程序。`

Ollama 是一个便于本地部署和运行大型语言模型（Large Language Models, LLMs）的工具。使用通俗的语言来说，如果你想在自己的电脑上运行如 GPT-3 这样的大型人工智能模型，而不是通过互联网连接到它们，那么 Ollama 是一个实现这一目标的工具。

目前市面上的大语言模型动辄上百亿参数，训练成本高昂。就算是自己想学习和研究，也会被巨大的硬件门槛挡在门外。而 MiniMind 通过精妙的设计，把模型参数压缩到了最小，让个人开发者也能亲手训练 AI 模型！

为了使AI模型在特定环境下发挥作用，它通常需要访问背景知识。例如，客户支持聊天机器人需要了解其所用业务的具体信息，而法律分析机器人则需要了解大量过往案例。

Codebase-wide 是一个与代码库（codebase）相关的功能，通常用于开发工具或 AI 辅助编程工具中。**它的核心目的是让工具能够更好地理解整个代码库的上下文，从而提供更智能、更准确的建议或分析。**

Amazon Bedrock 是一项完全托管的服务，通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Luma、Meta、Mistral AI、poolside（即将推出）、Stability AI 和 Amazon 等领先人工智能公司的高性能基础模型（FM）。

Tokenizer 的主要任务是将原始文本数据分割成更小的单元（如单词、子词或字符），并将这些单元转换为计算机可以处理的数值形式（通常是整数索引）。

IntelliJ IDEA 插件开发是一个强大的方式，可以扩展 IDE 的功能以满足特定需求。

最近deepseek非常火, 要说2025年震惊科技圈的事件要数DeepSeek这个国产AI的横空出世，这是一款免费、开源且隐私优先的推理 AI，可与 OpenAI 每月 200 美元的 o1 模型相媲美。

swarms 不仅仅是另一个多代理框架;它专为需要强大工具来自动化复杂的大规模业务运营的开发人员而构建。凭借灵活的架构、深度集成功能和对开发人员友好的 API，Swarms 是希望简化运营和面向未来的工作流程的企业的终极解决方案。

LangChain Hub是一个用于上传、浏览、拉取和管理提示词(prompts)的地方。LangSmith 帮助您**追踪和评估语言模型应用和智能代理**，以帮助您从原型过渡到生产环境。

典型的 RAG 应用程序有两个主要组件* 索引：一个从源头摄取数据并对其进行索引的管道。这**通常离线进行**。* 检索和生成：实际的 RAG 链，它在运行时获取用户查询，从索引中检索相关数据，然后将其传递给模型。

随着人工智能（AI）技术的不断进步，文本转向量的方法也在不断发展。在这一过程中，Embedding 模型扮演了极其重要的角色。

LangChain 也有较旧的 LLMs，它们不遵循聊天模型接口，而是使用将字符串作为输入并返回字符串作为输出的接口。现代 LLMs 通常通过聊天模型接口进行访问，该接口将消息作为输入，并将消息作为输出返回。消息通常与一个角色（例如，“系统”、“人类”、“助手”）和一个或多个包含文本或潜在多模式数据（例如，图像、音频、视频）的内容块相关联。ps: 聊天模型是语言模型的一种变体，虽然它们在底层使用语言模型，但提供的接口不同，主要是以“聊天消息”作为输入和输出，而不是简单的“文本输入-文本输出”。

DuckDuckGo是一款互联网搜索引擎，其注重用户隐私，及避免个性化检索所致的过滤气泡[4]。它与其他搜索引擎不同的地方在于其不会分析自己的用户、对所有使用同一组关键词的用户显示同样的结果[7]。它也强调返回最佳结果，而不是最多网站链接之结果。

Pydantic 会检查传入的数据类型是否符合定义的类型。例如，如果某个属性被定义为 int，而用户传入了一个字符串，Pydantic 会抛出一个错误，确保数据的正确性。

LangChain是一个开源的Python库，它提供了构建基于大模型的AI应用所需的模块和工具。它可以帮助开发者轻松地与大型语言模型(LLM)集成，实现文本生成、问答、翻译、对话等任务。LangChain的出现大大降低了AI应用开发的门槛，使得任何人都可以基于LLM构建自己的创意应用。目前，它提供了 Python 和 JavaScript（确切地说是 TypeScript）的软件包。如果您是一个构建生产级应用的开发者，并且需要一个 灵活、以代码为中心的解决方案，LangChain 是您的最佳选择。

Phidata is a framework for building multi-modal agents and workflows.Phidata 是一个用于构建多模式代理和工作流的框架。

在人工智能时代，向量数据库已成为数据管理和AI模型不可或缺的一部分。向量数据库是一种专门为存储和检索向量数据而设计的数据库。它的核心思想是将数据映射到向量空间中，从而使得数据的相似性计算、聚类、分类和检索变得更加高效和精确。

科学计算领域必备（数据分析）的Python IDE之Jupyter Notebook

搞大模型必备的4种开源工具打死都不能删除

大模型的发展已进入下半场,OpenAI开始关注AI agent,它与大模型的关系、特点及未来潜力值得深入探讨。AI agent结合LLM、记忆、规划和工具使用,能实现超越大模型的任务,成为人工智能的未来。