youareshuaibiao的博客

在本节课中，我们学习到了项目中的文件规划，并且手写了一个Python当中的单例模式。并且学习了如何使用FastAPI组织一个大型项目架构。除此之外，我们还封装了一堆工具和中间件，我希望让大家通过看这一篇文章，就可以触类旁通，明白FastAPI各种组件的搭配和使用（不光是这个项目，这一套架构相当通用）。好了，下一篇文章，我会将咱们的目光，再次转向大模型，因为现在大模型的调用，还是哒咩哒灭！

在这一节课中，我们分析了Python中的Web三大框架，并且选择了FastAPI作为我们的主框架使用。使用FastAPI简单的搭建了一个"Hello World"，初步熟悉一下FastAPI的接口开发。在main.py函数中，我们成功的搭建了一个大模型的流式服务，并且提供了测试代码。初步熟悉了unicorn，FastAPI和pydantic库，为以后更方便的开发打下基础。

初步搭建了一个LLM服务的环境，为了以后更好的使用大模型服务打好基础。从数据安全，快速部署等方面，简述了为什么要搭建本地大模型服务，并且搭建本地大模型有什么意义。快速的分析和加载了3个模型，包括Qwen系列，ChatGLM3和ChatGLM4，从我自己的使用体验来说，分析了一下她们各自优劣势。大家按照需求选一个模型，作为咱们的以后的基座模型，以此来构建我们的大模型服务。

在介绍conda之前，小编先引用Anaconda官网中的一句话。Anaconda® 是一个包管理器、一个环境管理器、一个 Python/R 数据科学发行版以及超过 7,500 个开源包的集合。Anaconda 是免费且易于安装的，它提供免费的社区支持。它允许你安装、更新和卸载各种库和依赖，更是一个环境管理器，能让你轻松创建、保存、加载和切换不同的开发环境。这意味着，你可以为每个项目设置独立的环境，每个环境中安装特定版本的库，从而有效避免版本冲突和依赖问题。并且，Conda可以自动处理环境中的依赖问题！