大模型（LLM）工程师实战之路（含学习路线图、书籍、课程等免费资料推荐）

新春佳节，蛇年大吉！愿您在新的一年里，生活如蛇行般灵动自如，事业似蛇舞般活力四射。蛇年，愿您福运缠身，财源广进，家庭和睦，幸福安康！今天给大家推荐一些大模型（LLM）工程师相关的免费学习资料，先收藏起来哦

1. 运行LLM

运行LLM可能由于硬件要求较高而变得困难。根据你的使用场景，你可能希望通过API（如GPT-4）简单地调用模型，或者在本地运行模型（6个最受欢迎的本地运行大模型工具整理）。在任何情况下，额外的提示工程和引导技术都可以改善并约束模型的输出，以适应你的应用程序。

• LLM API：API是部署LLM的一种便捷方式。这一领域分为私人LLM（如OpenAI、Google、Anthropic、Cohere等）和开源LLM（如OpenRouter、Hugging Face、Together AI等）。

• 开源LLM：Hugging Face Hub是寻找LLM的好地方。你可以直接在Hugging Face Spaces中运行其中一些模型，或者下载并在本地应用中运行，例如通过LM Studio或使用llama.cpp或Ollama通过命令行运行。

• 提示工程：常见的技术包括零样本提示（zero-shot prompting）、少样本提示（few-shot prompting）、思维链（chain of thought）和ReAct。这些技术更适合大型模型，但也可以适应小型模型。

• 结构化输出：许多任务需要结构化的输出，例如严格的模板或JSON格式。像LMQL、Outlines、Guidance等库可以用来引导生成并遵循给定的结构。

推荐：

• Run an LLM locally with LM Studio by Nisha Arya: Short guide on how to use LM Studio.（https://www.kdnuggets.com/run-an-llm-locally-with-lm-studio）

• Prompt engineering guide by DAIR.AI: Exhaustive list of prompt techniques with examples（https://www.promptingguide.ai/）

• Outlines — Quickstart: List of guided generation techniques enabled by Outlines.（https://dottxt-ai.github.io/outlines/latest/quickstart/）

• LMQL — Overview: Introduction to the LMQL language.（https://lmql.ai/docs/language/overview.html）

2. 构建向量存储

创建向量存储（构建非英文RAG（Retrieval-Augmented Generation）系统时，embedding很重要）是构建检索增强生成（Retrieval-Augmented Generation, RAG）管道的第一步。文档被加载、拆分&#x