AI大模型基础环境搭建

最新推荐文章于 2024-05-30 11:27:58 发布
最新推荐文章于 2024-05-30 11:27:58 发布
阅读量386 收藏 9
点赞数 4
文章标签： 笔记 语言模型 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aolan123/article/details/138971365
版权
文章目录
  • AI大模型基础环境搭建
    • 简介
    • 搭建
      • 大模型基础环境通常会依赖以下package：
      • conda安装
      • demo环境搭建
      • 关于该git项目需要注意的一些点
      • 前后端封装
    • 实现效果截图 和 一点后续的废话：

AI大模型基础环境搭建

简介

简单描述一下本文章里会教大家做的东西
1、搭建大模型基础环境
2、fastapi 封装接口 + 前端页面，做自己的语言模型
3、github地址： https://github.com/lisiqil/start-chart

搭建

  • 大模型基础环境
大模型基础环境通常会依赖以下package：

  • PyTorch：PyTorch是一个用于深度学习的开源库，由Facebook AI Research开发。PyTorch广泛用于自然语言处理、计算机视觉和语音识别等领域。

  • torchvision：torchvision是一个用于计算机视觉任务的库，提供了图像和视频处理的各种功能。torchvision基于PyTorch构建，方便在PyTorch项目中使用。

  • torchaudio：torchaudio是一个用于音频处理的库，提供了对音频信号进行处理的函数和预训练模型。。torchaudio也基于PyTorch构建，可以在PyTorch项目中轻松集成。

  • CUDA：CUDA是NVIDIA开发的一种并行计算平台和API模型，用于在NVIDIA GPU上加速计算任务。它允许开发人员编写在GPU上运行的代码，从而加快计算速度。PyTorch等深度学习库通常使用CUDA来进行GPU加速。

结合所选取的大模型，参考 https://pytorch.org/get-started/previous-versions/ 选取合适的环境package组合。

  • Bitsandbytes：提供高效的位操作和字节操作功能。它可以帮助开发人员更轻松地处理二进制数据和进行位级操作。

很多情况大模型所需要的服务器配额我们是无法满足的，这个时候需要bitsandbytes降低推理精度以达到降低所需显存配额的目的。

conda安装

如果确保机器只归你一个人使用可以不用安装

  • 下载并安装anaconda，选择你需要的版本即可上机安装：https://repo.anaconda.com/archive/
    以Tlinux为例：下载Anaconda3-2023.07-2-Linux-x86_64.sh并执行，等待安装完成。
bash Anaconda3-2023.07-2-Linux-x86_64.sh
  • 是否安装成功
# 查看conda版本
conda --version
# 提示没有command，设置环境变量即可
# 获取conda的安装路径
# whereis conda
export PAHT=/usr/anconda/bin:$PATH
source ~/.bashrc
  • conda常用命令
# 查看当前存在的虚拟环境
conda env list
# 创建虚拟环境
conda create -n envName
# 激活虚拟环境
conda activate envName
# 退出虚拟环境
conda deactivate
# 删除虚拟环境
conda remove -n envName --all
# 虚拟环境中安装packge，以安装pytorch 1.13.1版本为例
conda install pytorch==1.13.1
# 更多的conda命令
conda --help
demo环境搭建

以cuda11.3为例搭建大模型运行环境。
说明，cuda11.3较为典型，在bitsandbytes中没有预先编译适配11.3的so。所以11.3的整个环境搭建具备完整环境搭建流程，适配所有cuda版本环境搭建。

# 默认情况下腾讯云服务器上镜像已经安装了nvidia驱动。
# 查询显卡信息，该命令将会输出当前显卡Driver Version，CUDA Version
nvidia-smi
# print CUDA Version: 11.4, 说明当前环境适配CUDA Version <= 11.4

# 下载并安装CUDA 11.3，需要注意的是：安装过程中会让你选择安装像，这里需要去除安装驱动。
wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
sudo sh cuda_11.3.0_465.19.01_linux.run
# 设置环境变量，通常/usr/local/cuda-1x.x/bin，/usr/local/cuda-1x.x/lib64
export PATH=/usr/local/cuda-11.3/bin:$PATH
source ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.3/lib64
# 或者将/usr/local/cuda-11.3/lib64添加到/etc/ld.so.conf

##### conda和pip安装二选一 start ####
# 参考https://pytorch.org/get-started/previous-versions/
# 1、conda
conda create -n starchat
conda activate starchat
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch

# 2、pip
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
#### conda和pip安装二选一 end ####

# 安装bitsandbytes
pip install bitsandbytes
# make对应版本的bitsandbytes
git clone https://github.com/timdettmers/bitsandbytes.git
cd bitsandbytes
CUDA_VERSION=11.3 make cuda11x
python setup.py install
CUDA_VERSION=11.3 make cuda11x_nomatmul
python setup.py install
# 编译好的so通常在build/lib/bitsandbytes路径下，libbitsandbytes_cuda113.so, libbitsandbytes_cuda113_nocublaslt.so
# 将这两个文件放在python/site-packages/bitsandbytes目录下
# 根据服务器环境复制到对应的目录下
#### start ####
# 1、conda
# 如conda环境中使用的python3.10
cp build/lib/bitsandbytes/libbitsandbytes_cuda113.so /root/.conda/envs/starchat/lib/python3.10/site-packages/bitsandbytes/libbitsandbytes_cuda113.so
cp build/lib/bitsandbytes/libbitsandbytes_cuda113_nocublaslt.so /root/.conda/envs/starchat/lib/python3.10/site-packages/bitsandbytes/libbitsandbytes_cuda113_nocublaslt.so
# 2、非conda，使用的是python3.8
cp build/lib/bitsandbytes/libbitsandbytes_cuda113.so /usr/local/lib64/python3.8/site-packages/bitsandbytes/libbitsandbytes_cuda113.so
cp build/lib/bitsandbytes/libbitsandbytes_cuda113_nocublaslt.so /usr/local/lib64/python3.8/site-packages/bitsandbytes/libbitsandbytes_cuda113_nocublaslt.so
#### end ####
# 测试bitsandbytes
python -m bitsandbytes
# success print：True
# 否则，这里可能存在两个缺少依赖的报错：
#   1、No module named 'scipy'。解决：pip install scipy
#   2、No module named 'triton.language'。解决：pip install triton
#     安装完成triton后依然报错相同的错误，那么需要修改下/usr/local/lib64/python3.8/site-packages/bitsandbytes/triton/triton_util.py关于引用importlib的方式
#     修改代码import importlib -> import importlib.util
#     没错，我为了安装这个环境已经把bitsandbytes源码看完了

# 整个环境已经搭建完成
# 关于如何开启8int方式运行大模型可以参考
#     https://github.com/timdettmers/bitsandbytes.git

至此demo中的大模型环境已经搭建完成。
大家可以在 huggingface 或者 百度飞浆 中获取自己想要的AI模型来愉快的玩耍

关于该git项目需要注意的一些点
cd 大模型目录
pip install -r requirements.txt
# 进入python命令行
python


from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True, torch_dtype=torch.float16)
model.to(device)
inputs = tokenizer.encode('现在我是javascript工程师，需要用nextjs实现文件上传，请你给出实现方案', return_tensors="pt").to(device)
outputs = model.generate(inputs, generation_config=generation_config)
output = tokenizer.decode(outputs[0], skip_special_tokens=False).rsplit(assistant_token, 1)[1].rstrip(end_token)
print(output)
"""
其实你会得到一个让你非常无语的答案，哈哈哈。
＃1•用户登录成功后，点击头像可以进入个人中心页面。
在个人中心页面有一个上传文件的按钮，，用户点击该按钮就可以选择要上传的文件并将其显示在页面上。
import os
def upload_ file (request):
...
...
"""

遇到这种情况不要慌，并不是大模型的能力有问题。这个引入一个初学大模型的概念 prompt 就是所谓的工程提示，如果我们给出合理的提示功能标签，那么大模型可以更好的识别问题。

常见的LLM通用提示标签有

  • <|system|>： 系统级提示
  • <|user|>： 用户输入
  • <|assistant|>：ai回答
  • <|end|>：通用结束标签

那么以上问题，通过合理的 prompt 之后是：

#   “<|system|>你是一个javascript工程师<|end|>
#       <|user|>请用nextjs实现文件上传功能。<|end|>”

inputs 这里应该是：

inputs = tokenizer.encode(
    '<|system|>你是一个javascript工程师<|end|><|user|>请用nextjs实现文件上传功能。<|end|>', return_tensors="pt").to(device)
outputs = model.generate(inputs, generation_config=generation_config)
output = tokenizer.decode(outputs[0], 
  skip_special_tokens=False).rsplit(assistant_token, 1)[1].rstrip(end_token)
print(output)
前后端封装

前后端封装相对比较简单，主要干的就是：fastapi封装应用接口、大模型输出结果用接口返回给前端页面、前端页面收集到的问题和参数通过接口调用大模型。代码已传。

有点开发经验的同学应该能看懂，该文主要是分享记录大模型基础环境的搭建，就不赘述这部分内容啦。

实现效果截图 和 一点后续的废话：

  • 本人手里也没有合适跑AI模型的机器，是在腾讯云上薅了一个新用户的福利，几十块租了一星期练手。后面机器到期了所以没法发链接给读者亲身体验，不过一些步骤有截图记录，同时项目上传了github仓库，会提供git地址。跑了 starchat（语言模型） 和 clip（图像识别）两个模型。

  • 套壳后的 startchat ，如图：（哈哈）
    在这里插入图片描述

  • 看一下运行时的显存（跑起来差不多用了18个G）
    请添加图片描述

  • 这个是完整页面，前端页面有一些可调参数
    请添加图片描述

  • clip 运行的情况 （clip 相对没 starchat 这么吃显存）
    在这里插入图片描述
    在这里插入图片描述

  • 应用的 github 地址：
    https://github.com/lisiqil/start-chart

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Python程序员罗宾
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
AI大模型知识点大梳理
yang1fei2的博客
06-12 1万+
AI大模型是指具有巨大参数量的深度学习模型，通常包含数十亿甚至数万亿个参数。这些模型可以通过学习大量的数据来提高预测能力，从而在自然语言处理、计算机视觉、自主驾驶等领域取得重要突破。AI大模型的定义具体可以根据参数规模来分类
阿里云开源大模型开发环境搭建
wys的专栏
05-01 525
阿里云开源大模型开发环境搭建
AI：大模型领域最新算法SOTA核心技术要点总结(一直持续更新)、大模型实战与理论经验总结(训练优化+代码实战+前沿技术探讨+最新案例应用)、带你精细解读多篇优秀的大模型论文、AI领域各种工具产品集合
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-13 6万+
​ AI：大模型领域最新算法SOTA核心技术要点总结(一直持续更新)、大模型实战与理论经验总结(训练优化+代码实战+前沿技术探讨+最新案例应用)、带你精细解读多篇优秀的大模型论文、AI领域各种工具产品集合(文本/图片/编程/办公/视频/音频/多模态类)的简介之详细攻略 目录 相关文章 大模型领域最新算法SOTA总结
如何利用开源工具搭建AI大模型底座
技术修行者
09-03 849
我们在这篇文章中通过开源工具来构建AI大模型的底座，涉及到的技术包括： - Langchain - OpenAI - Flowise - LocalAI - Llama
第三章：AI大模型的开发环境搭建3.3 开发环境配置3.3.1 本地环境配置
禅与计算机程序设计艺术
01-23 552
1.背景介绍 1. 背景介绍 在过去的几年里，人工智能(AI)技术的发展迅速，许多大型AI模型已经取得了令人印象深刻的成功。这些模型，如GPT-3、BERT、DALL-E等，需要大量的计算资源和数据来训练。因此，搭建一个合适的开发环境至关重要。本章将讨论如何搭建AI大模型的开发环境，以及如何配置本地环境。 2. 核心概念与联系 在搭建AI大模型开发环境时，需要了解一些核心概念。这些概念包括...
Docker AIGC等大模型深度学习环境搭建（完整详细版）
叶子的博客
04-21 7028
本文是《》（https://blog.csdn.net/suiyingy/article/details/130169592）专栏的一部分，所述方法和步骤基本上是通用的，不局限于AIGC大模型深度学习环境。ChatGPT、Stable Diffusion等大模型属于相对较新的模型，所以依赖的Pytorch经常为torch1.12以上版本。相应的CUDA版本则至少为CUDA 11.3，并且显卡驱动对应的CUDA版本号不能小于CUDA库的版本号。下面将以CUDA 11.8驱动安装为例。
动动小手搭建私人大模型人工智能私人助理
二赛君
08-13 1175
去年12月OpenAI公司的ChatGPT3.5彻底引爆人工智能圈，今年国内大公司争相进入大模型的赛道，打造自己的大模型。前些日子的世界人工智能大会上，可谓是百模大战，热闹纷呈。ChatGPT的出现，的确给人们带来了巨大的惊喜，可以说让人工智能的革命性事件，它的能力和威力让人瞠目结舌。关于它的优点这里不在赘述，关于如何更好的使用它，之前写过一篇博文，，感兴趣的可以查看。
手撸私有AI大模型——开发环境搭建miniconda
vscene的博客
05-17 784
手撸私有AI大模型——快速搭建AI开发环境。首先需要部署一个conda，这里采用的是miniconda的安装。
OpenAi大模型应用模型的搭建.zip
05-15
为了克服这些问题，OpenAI 走上了预训练大模型的道路。从 GPT-1 到 ChatGPT，就是一个预训练模型越来越大、效果越来越强的过程， 不断迭代。 在OpenAI的官网上，ChatGPT被描述为优化对话的语言模型，是GPT-3.5架构的...
《AI大模型》--阿里巴巴通义千问AI PaaS大模型、模型训练、公司对接ai、对接阿里云通义千问、语音转文本）.zip
03-22
阿里巴巴通义千问AI PaaS大模型（Qwen-7B-Chat）、炼丹炉大模型、MPT-7B模型接入、模型训练、VUE页面部署、后端部署、公司对接ai、对接阿里云通义千问、语音转文本、简易搭建通义千问大模型聊天功能（支持PC端、...
AI大模型的学习方法+搭建自己的AI大模型
09-16
推荐了学习AI大模型的学习方法，也推荐了几个实例来搭建自己的AI大模型
《AI大模型》--一款集合多家大模型能力的客户端。可以快速、低门槛搭建你的专属AI助手；支持自定义插件，扩展无限可能.zip
03-22
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结...
Meta LlaMA 2 大语言模型免费开源！本地搭建类ChatGPT的智能AI聊天机器人
07-28
Meta LlaMA 2 大语言模型免费开源！本地搭建类ChatGPT的智能AI聊天机器人 根据文件内（ReadMe.doc）参考链接进行调试在本地部署. 测试主机配置：Windows10、i7-8700K/32G、RTX2070 需按照文档进行操作
强化学习——学习笔记3
qq_52302919的博客
05-29 1188
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
Vue3实战笔记（52）—Vue 3封装持仓分析饼图
最新发布
山花的博客
05-30 226
接上文，封装持仓分析饼图。封装好几个组件，用于后续开发。把忧愁煮成茶，让它在心间慢慢沉淀，剩下的，便是清甜的回味。
Python图形界面(GUI)Tkinter笔记（十四）：Entry与Button的碰撞（1）
肥辉的学习笔记
05-29 200
用功能按钮(Button)、单行文本输入框(Entry)、文本框内容读取(get)实现一个极简易的加法运算，及与其他控件的交互，提高体验，主要体现其人机交互的意义。因为Entry()文本输入框没有限制输入内容属性的参数，它是把所有的输入都视作它特有的一个类属性，所以用get()方法读取出来是一个字符串而这字符串可包括字母或其它符号。因此我们必须对其进行判断后再计算，若直接计算可能会出现不可预料的错误。这里用了try...except..进行了简单的错误判断处理。
强化学习——学习笔记
qq_52302919的博客
05-27 1174
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
搭建ai大模型算法有哪些
11-30
搭建AI大模型算法可以通过以下几步实现。 首先，选择适当的大模型算法。目前比较常用的大模型算法有深度学习的卷积神经网络（CNN）、循环神经网络（RNN）以及自注意力机制（Transformer）等。根据特定的问题和任务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值