手撸私有AI大模型——开发环境搭建miniconda

已于 2024-05-17 13:08:10 修改
阅读量1.3k 收藏 10
点赞数 26
分类专栏： vscene 文章标签： python conda AI编程
于 2024-05-17 13:05:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vscene/article/details/139000568
版权

私有AI大模型开发准备工作：

1. 编程语言 python、javascript

2. 算法库可以直接利用现有的python库，没必要再自己造轮子了现成的轮子

3. 搭建UI界面，搭建web服务接口

4. 基础大模型

5. 定制数据集

目录

1. 下载miniconda

2. 安装miniconda

3. 运行conda

3.1 查看conda版本

 3.2 查看conda 信息包括安装路径

3.3 创建一个虚拟环境

3.4 激活虚拟环境

3.5 退出当前虚拟环境

3.6 查询conda中有那些虚拟环境

3.7 切换虚拟环境

3.8 查看当前conda 环境下安装的包

 3.9 查看python 版本，非conda命令

3.10 查看python 安装的包，非conda命令

3.11  在当前环境下查询工具包

3.12 在当前环境下安装指定版本的工具包

 3.13 在当前环境下更新工具包

 3.14 在当前环境下删除工具包

3.15  复制当前环境到一个新的环境中

3.16 删除一个工作环境

3.17 重名一个工作环境

3.18 清除当前工作环境 

 3.19 查看 conda 下载包的源地址

3.20 更新源地址

3.21 清理当前环境中下载未完成的包

3.22 查看当前环境用的源地址

4. 运行 python

本文开始先从准备搭建一个带webui的大模型对话界面开始介绍。

第一节 安装部署miniconda，搭建一个python运行环境

常见疑问：Miniconda和Anaconda的关系，Anaconda比Miniconda多包含了工具包，如果在不确定AI项目要使用的工具包情况下，下载miniconda就可以了，需要什么工具包，下载什么工具包。

1. 下载miniconda

官网下载地址

https://docs.anaconda.com/free/miniconda/

镜像下载地址

Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

2. 安装miniconda

修改安装路径，如果C盘空间不大，可以配置安装到其他盘符上，我配置到了D盘 miniconda3

安装完成后会弹出网页

3. 运行conda

3.1 查看conda版本

conda -V

 3.2 查看conda 信息包括安装路径

conda info

3.3 创建一个虚拟环境

# mygpt 是虚拟环境的名称

# python=3.10 是制定了python的版本号

conda create -n mygpt python=3.10 

3.4 激活虚拟环境

# mygpt 是刚才创建的虚拟环境名称

conda activate mygpt

3.5 退出当前虚拟环境

 conda deactivate

3.6 查询conda中有那些虚拟环境

conda info -e

或

cond info --envs

或

conda env list

3.7 切换虚拟环境

conda activate tts

提示：不同的虚拟环境可以安装不同的python 版本和 各种python库

3.8 查看当前conda 环境下安装的包

conda list

 3.9 查看python 版本，非conda命令

python -V

3.10 查看python 安装的包，非conda命令

pip list

3.11  在当前环境下查询工具包

#conda search <package_name>

conda search openssl

 

如果查询的包没有安装会有相应的提示，例如：

3.12 在当前环境下安装指定版本的工具包

 #conda install <package_name>
conda install ollama=0.1.9

 3.13 在当前环境下更新工具包

conda update ollama

如果我们想要升级 mytts 环境 下的 numpy 和 scipy，只需执行

conda update -n mytts numpy scipy

如果要更新 conda 本身，则需执行

conda update conda

 如果要更新 anaconda ，则需执行

conda update anaconda

注： 升级 Anaconda 前需要先升级 conda。

 3.14 在当前环境下删除工具包

conda remove ollama=0.1.9

3.15  复制当前环境到一个新的环境中

#conda create --name <new_env_name> --clone <copied_env_name>
conda create --name mygpt --clone mytts

3.16 删除一个工作环境

后面要加上 --all 参数

#conda remove --name <env_name> --all
conda remove --name mytts --all

3.17 重名一个工作环境

conda create -n <newname> --clone <oldname>
conda remove -n <oldname> --all 

3.18 清除当前工作环境 

# 删除没有用的包
conda clean -p
# 删除保存下来的压缩文件（.tar）
conda clean -t
# 删除无用的包和缓存
conda clean --all 

 3.19 查看 conda 下载包的源地址

conda config --show-sources

 

3.20 更新源地址

conda config 用来配置 conda 的频道，相关信息会存储在 C:\Users\你的用户名\.condarc 文件中。

Windows 用户.condarc 的文件，可以先执行

conda config --set show_channel_urls yes

 修改 .condarc 文件，我的.condarc文件如下：

channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

remote_read_timeout_secs: 1000.0
ssl_verify: false

修改完后，执行 conda clean -i 清除索引缓存，保证用的是镜像站提供的索引。

设置完后，我们可以执行 conda config --get channels

常用源地址

# 清华
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

3.21 清理当前环境中下载未完成的包

conda clean -i

3.22 查看当前环境用的源地址

conda config --get channels

或

conda config --show channels

4. 运行 python

python -V #查看python 版本

python #运行

这一节配置好了conda环境，python也可以运行了，接下来就可以上代码了。

vscene
关注
专栏目录
AI应用开发之环境搭建
想不出一个好的标题，就用这个吧
11-29 6966
前段时间看到一位大牛的博客，关于AI起步学习的，讲的很直白，兴趣盎然啊，就跟着走了下去，首先是搭建环境，遇到了不少问题，现就此与大家分享一下吧。 参考博客在这里：https://blog.csdn.net/SoftwareTeacher/article/details/80770079 关于官方视频教程没有看，现在真的是没有耐心了，感觉视频口水话太多，直接就没兴趣了，下面每一步都是紧跟教程的，...
人工智能-大语言模型-基于企业私有知识库的LLM大语言模型的智能客服机器人问答系统，支持私有化部署
最新发布
11-05
基于企业私有知识库的LLM大语言模型的智能客服机器人问答系统，支持私有化部署 能力 1、专属 AI 问答系统 通过导入企业已有知识构建知识库，让 AI 机器人使用关联的知识库回答问题，快速构建企业专属 AI 问答系统...
AI应用开发实战 - 从零开始搭建macOS开发环境
weixin_34405354的博客
06-08 257
AI应用开发实战 - 从零开始搭建macOS开发环境 本视频配套的视频教程请访问：https://www.bilibili.com/video/av24368929/ 建议和反馈，请发送到 https://github.com/Microsoft/vs-tools-for-ai/issues 联系我们 OpenmindChina@microsoft.com 零、前提条件 一台能联网的电脑，使用m...
miniconda创建虚拟环境
大甘的博客
08-24 745
在linux服务器中创建虚拟环境，允许你为每个项目创建独立的Python环境，这样你可以为不同的应用程序或服务安装不同的依赖版本，而不会相互干扰。在不同的虚拟环境下进行不同的项目分析。
AI大模型基础环境搭建
qq_42778289的博客
10-24 4144
简单描述一下本文章里会教大家做的东西1、搭建大模型基础环境2、fastapi 封装接口 + 前端页面，做自己的语言模型3、github地址： https://github.com/lisiqil/start-chart本人手里也没有合适跑AI模型的机器，是在腾讯云上薅了一个新用户的福利，几十块租了一星期练手。后面机器到期了所以没法发链接给读者亲身体验，不过一些步骤有截图记录，同时项目上传了github仓库，会提供git地址。跑了 starchat（语言模型） 和 clip（图像识别）两个模型。
零基础，零成本，部署一个属于你的大模型
蛮三刀酱
04-22 7904
因此，本文是为AI初学者们（包括我自己）编写的保姆级大型模型部署和使用指南。现在正值阿里云免费试用计划，我们可以不花一分钱就可以体验部署自己的大型模型的乐趣。
python自学成才之路 miniconda创建虚拟环境
超人不会飞
09-01 2049
前面虚拟环境是安装在一个Python解释器下的，如果想使用不同版本的Python环境该怎么创建呢？这个时候miniconda就派上用场了。Miniconda可以在创建虚拟环境时指定安装不同版本的Python解释器。 Miniconda下载地址：https://docs.conda.io/en/latest/miniconda.html 安装好miniconda后将scripts目录配置到环境变量中，就可以愉快的玩耍moniconda了。 1.创建一个虚拟环境 conda create -n envname
大模型训练环境搭建
fanghailiang2016的博客
10-03 1120
大模型训练环境搭建
《AI大模型》--私有文档AI智能对话工具，基于国内AI语言大模型MiniMax版本.zip
03-22
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结...
开源大模型环境配置、私有化部署、lora微调、langchain.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
《AI大模型》--基于Qshi-AI大模型的聊天私有化部署，可将BaidaAI【前端界面】部署到您的本地并运行.zip
03-22
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结...
人工智能开发环境搭建和基础介绍
05-12
讲解人工智能开发基础和开发环境搭建详细过程
《AI大模型应用》-私有文档AI智能对话工具，基于国内AI语言大模型MiniMax版本 .zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
大模型开发环境搭建
AlanZhou1993的博客
07-31 1093
针对大模型的Python开发软件和环境构建教程
AI开发Windows环境搭建
settingsun1225的专栏
06-26 823
Windows 本地初始化AI开发环境
使用Miniconda创建虚拟环境
热门推荐
weixin_44087528的博客
03-12 1万+
Miniconda的下载地址：https://pan.baidu.com/s/1eSqYnNs 安装完成后需要添加环境变量所选盘为安装主盘，我是安装到D盘 打开命令行 输入 conda -V 这条命令查看conda版本号，也是为了是否安装成功 我安装了pthony3.6, 装好了可以查看下是否安装成功 如果出现py36就表示成功 下面是进入及退出虚拟环境 ...
Miniconda 创建虚拟环境
xty_252的博客
10-28 3639
Miniconda是很强大的一款虚拟环境管理工具，最近本人用回了自己的老Windows电脑，发现使用virtualenv的方法命令行创建虚拟环境存在很多问题，所以决定使用Miniconda进行虚拟管理。
AI大模型技术应用落地方案与私有化部署教程
1. 开源大模型环境配置 - 开源大模型通常指的是像BERT、GPT等大型预训练语言模型，它们的源代码通常在开源平台上公开，方便研究者和开发者使用和改进。 - 环境配置涉及到的软件栈包括操作系统、编程语言环境（如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值