大语言模型之六- LLM之企业私有化部署架构

2023年上半年，广泛使用API（如OpenAI）来创建基于大型语言模型（LLM）的基础设施，极大地塑造了软件领域。
LangChain 和LlamaIndex在这一趋势中发挥了重要的作用。2023年下半年LLMOps的运维工作流程中微调（或指令调整）模型门槛降低基本成了业内标准流程，这一趋势的发展主要是由以下几个原因，1.微调的成本急剧降低，配合PEFT等方法，可以在单张T4卡上对Llama 2微调，这在以前是难以想象的；2.处理公司内保密数据的能力，3.经过微调后可在某些特定任务中开发超过ChatGPT和GPT-4等模型性能的模型的潜力。LLMOps主要包括：
0. 数据，结构化、非结构化数据，数据标注。

1. LLM训练和微调，自从LLama发布后，指令微调变得越来越流行；
2. 构建LLM框架：LangChain和LlamaIndex等库处理，允许您查询向量数据库，提高模型的内存或提供各种工具。
3. 预测和推理（最优化推理技术）：随