![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
第六音符
不迷茫了,有折腾的方向了
展开
-
大模型实践第五节课笔记
首先我们需要明白一点,服务部署和量化是没有直接关联的,量化的最主要目的是降低显存占用,主要包括两方面的显存:模型参数和中间过程计算结果。接下来我们切换到刚刚的终端(就是上图右边的那个「bash」,下面的「watch」就是监控的终端),创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境,因为该目录是共享只读的,而我们后面需要在此基础上安装新的软件包,所以需要复制到我们自己的 conda 环境(该环境下我们是可写的)。值得说明的是,以上的划分是一个相对完整的模型,但在实际中这并不是绝对的。原创 2024-03-11 21:48:56 · 893 阅读 · 0 评论 -
python学习(4)
原创 2023-10-07 22:14:37 · 35 阅读 · 0 评论 -
python学习(3)
原创 2023-10-07 14:06:27 · 29 阅读 · 0 评论 -
python学习(2)
原创 2023-10-07 14:05:32 · 32 阅读 · 0 评论 -
python学习(1)
原创 2023-10-07 13:58:13 · 27 阅读 · 0 评论