大模型知识小结

环境搭建

1.安装GPU驱动以及CUDA环境

安装好驱动后使用nvidia-smi查看cuda对应版本

查看是否有cuda环境 使用 nvcc -v

ubuntu安装cuda教程地址

http://t.csdnimg.cn/WZs1I

centos暂无

2.python查看pytorch是否可以用cuda

import torch

print(torch.cuda.is_available())

输出true可以使用，一般cuda环境向下兼容torch的cuda版本

比如cuda环境为11.3，torch的cuda为10.2，这时GPU是可用的

阿里云学习文档

https://developer.aliyun.com/article/1375730

使用大模型，需要python版本，cuda版本，pytorch版本对应

gradio版本一般3.40.0

pip清华源

 pip install  -r  requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

1.命令

anaconda软件地址下载

https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

激活虚拟环境：

使用如下命令即可激活创建的虚拟环境

#Linux & #Windows

conda activate your_env_name

退出虚拟环境：

使用如下命令即可退出创建的虚拟环境

#Linux & #Windows

deactivate your_env_name

删除虚拟环境：

conda remove -n your_env_name --all

conda remove --name your_env_name --all

#创建名为your_env_name的环境

conda create --name your_env_name

#创建制定python版本的环境

conda create --name your_env_name python=2.7

conda create --name your_env_name python=3.6

#创建包含某些包（如numpy，scipy）的环境

conda create --name your_env_name numpy scipy

#创建指定python版本下包含某些包的环境

conda create --name your_env_name python=3.6 numpy scipy

使用stream启动main服务

streamlit run  *.py --server.port 端口号 --server.address 地址

查看cuda版本

nvidia-smi

下载依赖包

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

查询cuda与torch版本是否适用，在py里写，引入torch

import torch

torch.cuda.is_available()

YAML格式

- name: get_mark

  description: 根据食物判断一下颜色

  parameters:

    type: object

    properties:

      food:

        type: string

        description: 中英文食物都需要判断

      unit:

        type: string

        enum:

        - color

    required:

    - food

1.mysql在ubuntu启动命令

service mysql restart

1.代码解释器功能使用需要安装Jupyter 内核：

ipython kernel install --name ***（为conda切换环境名） --user

如果已经在本地下载了模型，可以通过 export MODEL_PATH=/path/to/model 来指定从本地加载模型。

如果需要自定义 Jupyter 内核，可以通过 export IPYKERNEL=<kernel_name> 来指定。

1.fastapi

FastAPI 是快速构建高效 API 的现代 Web 框架，它使用的是 Python 3.6+，并基于 Python 标准类型提示。

安装fastapi

pip install fastapi uvicorn

使用

from typing import Optional

from fastapi import FastAPI

app = FastAPI()

@app.get("/")

def read_root():

    return {"Hello": "World"}

启动

uvicorn main:app --reload

使用docker打包项目

FROM nvidia/cuda:11.0-base

# 安装 Python 和其他依赖

RUN apt-get update && \

    apt-get install -y python3 python3-pip

# 安装 CUDA 工具包

RUN apt-get install -y cuda-toolkit-11-0

# 设置环境变量

ENV CUDA_HOME=/usr/local/cuda-11.0

ENV PATH=$CUDA_HOME/bin:$PATH

ENV LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

# 安装 Python 包

COPY requirements.txt /app/

WORKDIR /app

RUN pip3 install -r requirements.txt

# 将代码复制到容器中

COPY . /app

# 设置工作目录

WORKDIR /