环境搭建
1.安装GPU驱动以及CUDA环境
安装好驱动后使用nvidia-smi查看cuda对应版本
查看是否有cuda环境 使用 nvcc -v
ubuntu安装cuda教程地址
http://t.csdnimg.cn/WZs1I
centos暂无
2.python查看pytorch是否可以用cuda
import torch
print(torch.cuda.is_available())
输出true可以使用,一般cuda环境向下兼容torch的cuda版本
比如cuda环境为11.3,torch的cuda为10.2,这时GPU是可用的
阿里云学习文档
https://developer.aliyun.com/article/1375730
使用大模型,需要python版本,cuda版本,pytorch版本对应
gradio版本一般3.40.0
pip清华源
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
1.命令
anaconda软件地址下载
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
激活虚拟环境:
使用如下命令即可激活创建的虚拟环境
#Linux & #Windows
conda activate your_env_name
退出虚拟环境:
使用如下命令即可退出创建的虚拟环境
#Linux & #Windows
deactivate your_env_name
删除虚拟环境:
conda remove -n your_env_name --all
conda remove --name your_env_name --all
#创建名为your_env_name的环境
conda create --name your_env_name
#创建制定python版本的环境
conda create --name your_env_name python=2.7
conda create --name your_env_name python=3.6
#创建包含某些包(如numpy,scipy)的环境
conda create --name your_env_name numpy scipy
#创建指定python版本下包含某些包的环境
conda create --name your_env_name python=3.6 numpy scipy
使用stream启动main服务
streamlit run *.py --server.port 端口号 --server.address 地址
查看cuda版本
nvidia-smi
下载依赖包
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
查询cuda与torch版本是否适用,在py里写,引入torch
import torch
torch.cuda.is_available()
YAML格式
- name: get_mark
description: 根据食物判断一下颜色
parameters:
type: object
properties:
food:
type: string
description: 中英文食物都需要判断
unit:
type: string
enum:
- color
required:
- food
1.mysql在ubuntu启动命令
service mysql restart
1.代码解释器功能使用需要安装Jupyter 内核:
ipython kernel install --name ***(为conda切换环境名) --user
如果已经在本地下载了模型,可以通过 export MODEL_PATH=/path/to/model 来指定从本地加载模型。
如果需要自定义 Jupyter 内核,可以通过 export IPYKERNEL=<kernel_name> 来指定。
1.fastapi
FastAPI 是快速构建高效 API 的现代 Web 框架,它使用的是 Python 3.6+,并基于 Python 标准类型提示。
安装fastapi
pip install fastapi uvicorn
使用
from typing import Optional
from fastapi import FastAPI
app = FastAPI()
@app.get("/")
def read_root():
return {"Hello": "World"}
启动
uvicorn main:app --reload
使用docker打包项目
FROM nvidia/cuda:11.0-base
# 安装 Python 和其他依赖
RUN apt-get update && \
apt-get install -y python3 python3-pip
# 安装 CUDA 工具包
RUN apt-get install -y cuda-toolkit-11-0
# 设置环境变量
ENV CUDA_HOME=/usr/local/cuda-11.0
ENV PATH=$CUDA_HOME/bin:$PATH
ENV LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
# 安装 Python 包
COPY requirements.txt /app/
WORKDIR /app
RUN pip3 install -r requirements.txt
# 将代码复制到容器中
COPY . /app
# 设置工作目录
WORKDIR /