大模型应用从入门到精通（一）选择开源大模型

本文链接：https://blog.csdn.net/wanghe9011/article/details/137936354

本文介绍了如何从入门到精通大模型应用，包括选择开源模型、部署策略、Langchain和PromptEngineering的应用，以及开源模型LLama2和通义千问的对比，同时讨论了内存管理、量化和模型选择的关键因素。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导读

加入我们，一起探索大模型应用的精彩世界，精通开源模型、掌握Prompt的巧妙运用、熟悉Agent、深入Langchain框架，Spring AI框架，逐步打造属于你的AI智能体。

大模型应用从入门到精通（一）选择开源大模型

大模型应用从入门到精通（二）大模型实操：部署和运行

大模型应用从入门到精通（三）云上部署：如何将大模型搬到云端

大模型应用从入门到精通（四）Langchain：大模型时代的Spring

大模型应用从入门到精通（五）Prompt Engineering：让模型理解你的意图

大模型应用从入门到精通（六）记忆的艺术：构建有记忆力的AI

大模型应用从入门到精通（七）Agent：大模型与世界的链接

大模型应用从入门到精通（八）智能信息小助手：基于大模型的实时信息整合系统

引言：为什么选择开源大模型？

开源大模型让每一个人都能参与到这次浪潮中

LLama2 率先开源，掀起了大模型开源的热潮，这让我们每个人都可以拥有自己的大模型。现在，不仅每个人都有机会构建自己的模型，还可以对这些模型进行微调，这让我们每个人都参能参与其中。在接下来的课程中，我们将详细讲解如何有效地利用这些开源资源，让每一个热爱技术的你，都能在这场浪潮中乘风破浪。

开源模型已经达到了ChatGPT3.5的水准

GPT3.5 Turbo是一个可以进行商业应用的级别，许多国外的商业产品底层也使用该级别的模型。目前来看，GPT3.5仍然是一个优秀的解决方案，它在推理成本、速度以及可用性三者之间取得了平衡。下面，我们做一个不严谨的对比测试，让大家对开源大模型的能力有一个体感。

问：根据提供的数据，让大模型按国家分组统计订单金额占比，并且用饼状图展示

The following is the order data, which is a collection of orders. Each element includes three fields, namely country, price, and user_id.
{
  "orders": [
    {"country": "USA", "price": 120.5, "user_id": 1},
    {"country": "Canada", "price": 90.0, "user_id": 2},
    {"country": "USA", "price": 110.75, "user_id": 3},