LLM大模型应用研发基础环境配置（Miniconda、Python、Jupyter Lab、Ollama等）

Python老猿

于 2024-07-04 14:47:55 发布

阅读量972

点赞数 7

文章标签：人工智能 ai大模型 prompt langchain 大模型环境大模型应用大模型实战

本文链接：https://blog.csdn.net/DEVELOPERAA/article/details/140179294

版权

配置一台方便用于大模型应用研发的新电脑，最基础的需要包括以下配置内容：

Miniconda包管理工具的安装和配置（兼容pip）
Python虚拟环境配置（指定 Python 版本且无需单独下载 Python 安装）
Jupyter Lab Python 研发 WebIDE 配置
Ollama本地大模型管理软件的配置和应用
Ollama大模型 Web 界面对话客户端配置和使用

Miniconda 安装和配置

Miniconda和pip都是 Python 生态中的两个不同的包管理工具，它们都用于安装和管理 Python 包。但是在大模型相关的应用研发中，推荐使用Miniconda的原因：

包范围： Miniconda 通过 Conda 可以管理 Python 以及非 Python 包，而 pip 只管理 Python 包。
环境管理： Miniconda 内置了环境管理功能，而 pip 需要与其他工具（如 virtualenv 或 venv）搭配使用以创建隔离的环境。
包源： pip 通常从 PyPI 下载包，而 Conda 从 Anaconda Repository 或其他自定义设置的通道下载。
包格式： Conda 使用自己的包格式(.conda 或.tar.bz2)，而 pip 使用 wheel 或源码形式。
依赖解决： Conda 在安装包时会考虑到系统级别的依赖和包之间的依赖关系，而 pip 主要解决 Python 级别的依赖。

在实际使用中，由于Minionda可以很好地处理复杂的依赖关系和环境管理，它通常是首选工具。但是，如果只需要安装纯 Python 包，使用pip可能会更加简单直接。

第一步： 下载地址：https://docs.anaconda.com/miniconda/

根据操作系统，选择安装包，支持包括：Windows、MacOS 和 Linux 系统

第二步： 安装和配置：安装过程和普通软件没有两样，安装完成之后，我们配置 Python 环境：

作者的安装目录是：D:\Software\miniconda3

因后面需要执行conda命令，因此提前把以下目录添加到系统环境变量中（变量名：Path）：

安装目录：D:\Software\miniconda3
脚本目录：D:\Software\miniconda3\Scripts
依赖库目录：D:\Software\miniconda3\Library\bin

第三步： 设置 Conda 虚拟环境目录（可选）：默认情况下，虚拟环境内容在C:盘， C 盘比较较小的，就把它设置到其它盘

打开 Termianl 终端，查看Conda基本信息：conda info

	> conda info

	 

	     active environment : None

	       user config file : C:\Users\obull.condarc

	 populated config files :

	          conda version : 24.4.0

	    conda-build version : not installed

	         python version : 3.12.3.final.0

	                 solver : libmamba (default)

	       virtual packages : __archspec=1=x86_64_v3

	                          __conda=24.4.0=0

	                          __win=0=0

	       base environment : D:\Software\miniconda3  (writable)

	      conda av data dir : D:\Software\miniconda3\etc\conda

	  conda av metadata url : None

	           channel URLs : https://repo.anaconda.com/pkgs/main/win-64

	                          https://repo.anaconda.com/pkgs/main/noarch

	                          https://repo.anaconda.com/pkgs/r/win-64

	                          https://repo.anaconda.com/pkgs/r/noarch

	                          https://repo.anaconda.com/pkgs/msys2/win-64

	                          https://repo.anaconda.com/pkgs/msys2/noarch

	          package cache : D:\Software\miniconda3\pkgs

	                          C:\Users\obull.conda\pkgs

	                          C:\Users\obull\AppData\Local\conda\conda\pkgs

	       envs directories : D:\Software\miniconda3\envs

	                          C:\Users\obull.conda\envs

	                          C:\Users\obull\AppData\Local\conda\conda\envs

	               platform : win-64

	             user-agent : conda/24.4.0 requests/2.31.0 CPython/3.12.3 Windows/11 Windows/10.0.22621 solver/libmamba conda-libmamba-solver/24.1.0 libmambapy/1.5.8 aau/0.4.4 c/. s/. e/.

	          administrator : False

	             netrc file : None

	           offline mode : False

可以看到几个重要信息：

Conda配置文件：C:\Users\obull.condarc
Conda包下载渠道：channel URLs列表几个地址
Conda包缓存目录：D:\Software\miniconda3\pkgs
Conda虚拟环境目录：D:\Software\miniconda3\envs

以上配置都是默认配置，其中包环境和虚拟环境目录比较占磁盘空间，可以设置为其他目录，同时下载渠道可以使用国内镜像以提升包的下载速度：

打开配置文件：C:\Users\obull.condarc
若.condarc配置文件不存在，可以执行命令自动生成一个默认文件：conda config --set show_channel_urls yes
打开.condarc配置，设置虚拟环境目录和：

	envs_dirs:

	  - D:/Software/miniconda3/pkgs

	pkgs_dirs:

	  - D:/Software/miniconda3/envs

	show_channel_urls: true

	channels:

	  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

	  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

	  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

	  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

	  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

	  - defaults

	custom_channels:

	  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

	  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

	  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

	  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

	  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

	  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

	  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

保存配置文件之后，我们可以看到Conda信息的变化：conda info

Conda命令还有一些其他用法，比较常用的命令如下列表：

查看Conda版本：conda --version
更新Conda版本：conda update conda
安装 Python 包（如安装numpy包）：conda install numpy 通过首选渠道下载包文件
指定渠道安装 Python 包：conda install conda-forge::numpy 通过conda-forge渠道下载包文件
安装 Python 包到指定的虚拟环境：conda install --name PY2.7 matplotlib 安装matplotlib包到指定的PY2.7虚拟环境

Python 虚拟环境配置

特别注意： 有了Miniconda包管理工具，我们无需单独下载和安装 Python，可直接通过 Conda 安装对应的版本即可。

作者创建一个名称为PY3.12的虚拟环境，使用 Python 版本为3.12.3：conda create --name PY3.12 python=3.12.3

新建虚拟环境需要初始化基础包（包括 Python SDK 等），基础包下载完成之后，可以通过命令查看虚拟环境列表：conda info --envs

	> conda info --envs

	base                     D:\Software\miniconda3

	PY3.12                   D:\Software\miniconda3\pkgs\PY3.12

其中，base是Conda默认的虚拟环境，我们刚创建的PY3.12虚拟环境已经存在了！

Python 虚拟环境使用

默认虚拟环境是base，我们可以激活和取消虚拟环境。若是首次使用，则需要执行conda init命令进行初始化：

激活虚拟环境：conda activate PY3.12
取消虚拟环境：conda deactivate（无需指定环境名）

	C:\Users\obull>

	C:\Users\obull>conda activate PY3.12

	 

	(D:\Software\miniconda3\pkgs\PY3.12) C:\Users\obull>

	(D:\Software\miniconda3\pkgs\PY3.12) C:\Users\obull>conda deactivate

	 

	C:\Users\obull>

Jupyter Lab 安装和配置（可选）

在 Python 研发 IDE 选择上，推荐推荐使用Jupyter Lab，当然如果有PyCharm等 Python 开发工具，也是一个不错的选择：

Jupyter Lab 主要是为了数据科学、科学计算和教育而设计的。它支持交互式计算和数据可视化，非常适合探索性数据分析、机器学习、数值模拟等。
Jupyter Lab 提供了一个基于 Web 的用户界面，支持在浏览器中直接编写代码、运行分析，并查看结果。
Jupyter Lab 强调的是交互式编程和数据可视化。它允许用户逐段运行代码并即时查看输出，支持 Markdown 和富媒体，非常适合制作和展示研究结果。
Jupyter Lab 作为一个轻量级的 Web 应用，其启动速度快，但在处理大型数据集时，性能可能会受到浏览器和硬件资源的限制。
Jupyter Lab 特别适合做数据分析、数据科学教育、探索性研究和创建可分享的交互式报告。

Jupyter Lab IDE 可以通过Conda安装，其安装命令如下：

	# 激活Python虚拟环境

	conda activate PY3.12

	

	# 安装Jupyter Lab（指定下载源）

	conda install -c conda-forge jupyterlab

	conda install -c conda-forge ipywidgets

Jupyter Lab IDE 成功安装之后，可以通过以下命令打开：

	# 激活Python虚拟环境

	conda activate PY3.12

	

	# 切换到Jupyter目录（我们以后代码存放的目录）

	cd ~/JupyterLab

	

	# 启动Jupyter WebIDE

	jupyter-lab .

浏览器自动打开了 Web IDE，或者自己打开：http://localhost:8888/lab

Jupyter Lab界面

Ollama 安装和使用

使用Ollama可以非常方便的管理本地大模型，目前主流大模型都支持Ollama，包括Phi、Qwen、Llama等，因此使用Ollama可以提升我们管理和使用大模型效率：

下载并安装Ollama：Ollama 官网（支持：Windows、Mac 和 Linux 系统）
设置模型数据文件路径（可选）：默认情况下，模型文件存放在C:盘用户目录。我们可以通过系统环境变量设置成其他目录。系统环境变量名为：OLLAMA_MODELS，系统环境变量的值为新的目录（如设置为：D:\ModelSpace\Ollama）
下载并启动大模型，以阿里的Qwen2-7B为例：ollama run qwen:7B

模型文件下载完成之后，自动就有了对话客户端：

	D:>conda activate PY3.12

	 

	(D:\Software\miniconda3\pkgs\PY3.12) D:>ollama list

	NAME    ID              SIZE    MODIFIED

	qwen:7b 2091ee8c8d8f    4.5 GB  3 hours ago

	 

	(D:\Software\miniconda3\pkgs\PY3.12) D:>ollama run qwen:7b

Ollama对话客户端

Ollama Web 界面对话客户端

Ollama自带控制台聊天对话界面体验总归是不太好，接下来部署 Web 可视化聊天界面：

下载并安装 Node.js 工具：https://nodejs.org/zh-cn
下载ollama-webui工程代码：git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui
切换ollama-webui代码的目录：cd ollama-webui
设置 Node.js 工具包镜像源（下载提速）：npm config set registry http://mirrors.cloud.tencent.com/npm/
安装 Node.js 依赖的工具包：npm install
最后，启动 Web 可视化界面：npm run dev

Ollam WebUI对话

如果看到以上输出，代表 Web 可视化界面已经成功了！

浏览器打开 Web 可视化界面：http://localhost:3000/

Ollama其他的命令工具：

	# 查看当前Ollama的模型

	ollama list

	

	# 增量更新当前部署的模型

	ollama pull qwen:7b

	

	# 删除一个模型文件

	ollama rm qwen:7b

	

	# 复制一个模型

	ollama cp qwen:7b Qwen-7B

OllamaAPI 结果返回

	curl http://localhost:11434/api/generate -d '{

	  "model": "qwen:7b",

	  "prompt":"为什么天空是蓝色的？"

	}'

Ollama API聊天对话

	curl http://localhost:11434/api/chat -d '{

	  "model": "qwen:7b",

	  "messages": [

	    { "role": "user", "content": "为什么天空是蓝色的？" }

	  ]

	}'

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍