- Anaconda3-2022.10-Windows-x86_64.exe【用于安装管理Pytorch,这里选择的是2022年最后一个版本】
- Pytorch【根据实际情况而定】
- transformers【默认最新版】
2.2 软件下载
- python-3.10.9-amd64.exe
- 下载地址:https://www.python.org/downloads
- 选择如图所示下载
2. Anaconda3-2022.10-Windows-x86_64.exe
- 下载地址:清华开源镜像anaconda
- 选择如图所示下载
- Pytorch【非安装包的形式,不用下载】
- transformers【非安装包的形式,不用下载】
2.3 codeshell使用环境安装
2.3.1 python-3.10.9-amd64.exe安装
- 选择自定义安装,并勾选使用管理员权限安装和将
python.exe
加入到环境。
- 设置自定义安装位置
- 验证安装结果
cmd
命令弹窗,输入python
,点击回车,看到下图,则安装python
成功。
2.3.2 Anaconda3-2022.10-Windows-x86_64.exe安装
- 选择
Just Me
- 自定义安装路径
- 只勾选
Register
,然后点击Install
。
- 去除这两个勾选,然后点击
Finish
。
2.3.3 创建环境
1.查看Python版本
cmd
打开命令行,输入python --version
,查验python
版本。
2. 打开Anaconda Prompt
页面,输入指令conda create -n py310 python=3.10
(这里每个人不一样,要根据查出来的版本做修改。)
3. 看见如下图的示例,表示环境创建完毕。
4. 最后conda activate py310
激活环境,看到左下角改变为py310
,代表进入该环境。
5. 其他命令
- 退出激活的环境,
conda deactivate
。 - 查看虚拟环境列表,
conda env list
。 conda
删除环境,conda remove -n
需要删除的环境名 --all。
到这里,就代表anaconda
的安装配置全部完成。
2.3.4 Pytorch安装
- conda配置
- 更换镜像源地址,以下是清华大学镜像源地址:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
- 把连接超时的时间设置成
40s
,读取超时的时间修改成100s
conda config --set remote_connect_timeout_secs 40
conda config --set remote_read_timeout_secs 100
- 配置文件位置:
C:\Users\liuch\.condarc
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
remote_connect_timeout_secs: 40.0
remote_read_timeout_secs: 100.0
注意:需要把 - defaults
删掉。
- 查看本机的
CUDA
版本
cmd
命令行输入nvidia-smi
,在第一行最右边可以看到CUDA
的版本号。
- 点击进入Pytorch官网,然后下拉至如图所示位置,只需保证系统和电脑匹配,
CUDA
版本小于本机CUDA
版本,调整结束后,复制红框中的指令。
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
4. 打开Anaconda Prompt
,激活py310环境(conda activate py310
),然后粘贴上一步的指令,回车执行。
5. 如果报OpenSSL
错误
(py310) C:\Users\liuch>conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
Collecting package metadata (current_repodata.json): failed
CondaSSLError: OpenSSL appears to be unavailable on this machine. OpenSSL is required to
download and install packages.
Exception: HTTPSConnectionPool(host=‘conda.anaconda.org’, port=443): Max retries exceeded with url: /pytorch/win-64/current_repodata.json (Caused by SSLError(“Can’t connect to HTTPS URL because the SSL module is not available.”))
可去 https://slproweb.com/products/Win32OpenSSL.html 下载安装包,注意最好下载Win64 OpenSSL v1.1.1w Light
的EXE
,也就是低版本的,因为v3.x
的安装后依旧报错。
6. 输入y确认,回车。
7. 等待安装直到左上角出现done
【下载依赖较多,耗时较长】。
8. 输入pip list
,查看安装了哪些包。
9. 输入python
进入环境,输入import torch
,无报错代表导入成功(这里要等待一段时间)。
10. 输入torch.cuda.is_available()
查看torch
是否可以使用显卡,True
代表可以。
至此,Pytorch
安装完毕。
2.3.5 transformers
安装最新版本:
pip install transformers
指定版本(推荐):
pip install transformers==4.34.0
输入pip list
,查看安装了哪些包。
至此,codeshell
环境安装完毕。
3 下载codeshell模型
在第二部分主要是搭建了codeshell
使用环境,但是本地还没有最底层的模型文件,所以需要单独下载模型文件,才能真正使用codeshell
。
目前有四个开源的模型如下:
- CodeShell Base:
CodelShell
底座模型,具有强大的代码基础能力。 - CodeShell Chat:
CodelShell
对话模型,在代码问答、代码补全等下游任务重性能优异。 - CodeShell Chat 4bit:
CodelShell
对话模型4bit量化版本,在保证模型性能的前提下内存消耗更小,速度更快。 - CodeShell CPP:
CodelShell
对话模型CPP
版本,支持开发者在没有GPU
的个人电脑中使用。注意,CPP
版本同样支持量化操作,用户可以在最小内存为8G的个人电脑中运行CodelShell
。
其中有三个模型是在huggingface
上托管:
WisdomShell/CodeShell-7B
:对应CodeShell Base
。WisdomShell/CodeShell-7B-Chat
:对应CodeShell Chat
。WisdomShell/CodeShell-7B-Chat-int4
:对应CodeShell Chat 4bit
。
所以需要从huggingface上下载下来。
git lfs install
git clone https://huggingface.co/WisdomShell/CodeShell-7B-Chat
4 codeshell使用
注意:这里是在py310环境使用的,所以需要先激活py310环境。
conda activate py310
4.1 Web UI
通过下列命令启动Web
服务,服务启动后,可以通过https://127.0.0.1:8000
进行访问。
python demos/web_demo.py
- 如果报错提示缺少相关依赖模块,使用
pip install +模块名称
下载安装即可,例如报下错误:
(py310) E:\Python\codeshell>python demos/web_demo.py
Traceback (most recent call last):
File “E:\Python\codeshell\demos\web_demo.py”, line 28, in
import gradio as gr
ModuleNotFoundError: No module named ‘gradio’
则需要安装相关依赖,然后重新启动:
pip install gradio
- 如果提示连接不上
https://huggingface.co
,需要开代理,或者将model下载到本地。
4.2 CLI Demo
python demos/cli_demo.py
5 总结
-
耗内存
在4.1 Web UI
和4.2 CLI Demo
使用时,可以看到占用内存16943MB,即16.54GB。
-
响应慢
根据问题写代码时,很慢。 -
准确性 尚可
-
golang语言实现,输入一个英文句子,反转句子中单词的顺序,但单词内的字符顺序不变,简单起见,标点符号和普通单词一样处理。
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Go语言工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Go语言全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Golang知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Go)
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
学习提升的进阶课程,基本涵盖了95%以上Golang知识点,真正体系化!**
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Go)
[外链图片转存中…(img-9WqNQk2t-1712958316071)]
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!