DW-LLM-第一章环境部署问题解决方法

最近参加了LLM的小白开发，针对第一章我写一下环境部署遇到的问题以及解决方案，和详细步骤

6. 环境配置说明 (datawhalechina.github.io)  参考链接

1.打开终端

在不同的操作系统中，打开终端（或命令行界面）的方法略有不同。

• 在Windows上：可以使用以下方法之一：

  • 按下 Win + R 组合键，然后在运行对话框中输入 cmd，按回车键打开命令提示符窗口。
  • 在开始菜单中搜索并打开“命令提示符”或“PowerShell”。

• 在Mac上：可以通过以下方法之一：

  • 打开“应用程序”文件夹，然后找到“实用工具”文件夹，里面有一个叫做“终端”的程序，点击它打开。
  • 使用Spotlight搜索（按下Command + Space），然后输入“终端”，点击打开终端应用。

• 在Linux上：通常可以通过以下方式之一打开终端：

  • 在应用程序菜单中找到终端程序（可能命名为“终端”、“控制台”、“终端模拟器”等）并点击打开。
  • 使用快捷键组合，如Ctrl + Alt + T，来打开终端。

打开终端后，你就可以在其中输入命令了。

2.生成 ssh key ssh-keygen -t rsa -C "youremail@example.com"（见下图）

这一块我懒得管了，直接全部默认了（疯狂空格），解释一下，并给出解决方案

• enter file in which to save the key(C:\Users\W/.ssh/id rsa)

这是一个提示，询问您要将 SSH 密钥保存到哪个文件中。默认情况下，它会建议将密钥保存到您的用户主目录下的 .ssh 文件夹中的 id_rsa 文件中。

如果您想使用默认路径和文件名，请按回车键。

如果您想将密钥保存到其他位置或使用其他文件名，请输入相应的路径和文件名，然后按回车键。

enter passphrase(enpty for no passphrase):

enter same passphrase again:

这是在设置 SSH 密钥时询问您是否要设置密码的步骤。设置密码可以增加安全性，因为除非知道密码，否则任何人都不能使用您的密钥。

• 如果您想设置密码，请输入您想要使用的密码，然后按回车键。您将被要求再次输入相同的密码进行确认。
• 如果您不想设置密码，直接按回车键即可

 our identification has been saved in C:\Users\W/. ssh/id rsa

our public key has been saved in C: Users W/. ssh/id rsa. puk 

您的身份信息已保存在 C:\Users\W/.ssh/id_rsa 文件中。

您的公钥已保存在 C:\Users\W/.ssh/id_rsa.pub 文件中

 2.将公钥添加到 github 

cat ~/.ssh/id_rsa.pub 复制输出内容---》改为使用type+全路径，

比如：type C:\Users\WANGXIE\.ssh\id_rsa.pub（将type后的内容修改为公钥存放地址）

---》你将得到公钥（一堆字母）

打开 github，点击右上角头像，选择 settings -> SSH and GPG keys -> New SSH key，将复制的内容粘贴到 key 中，点击 Add SSH key。

3.安装 conda 环境

这个我之前应景安装anaconda了，跳过    教案上写的也很清楚

4.新建虚拟环境 conda create -n llm-universe python=3.10

按理说，这个地方应该一下子就可以，但是我的出错了，后来发现是镜像地址的问题。

按照修改成清华镜像源解决Anaconda报The channel is not accessible源通道不可用问题_the channel is not accessible or is invalid.-CSDN博客进行了修改

最后成功

 

5.激活虚拟环境 conda activate llm-universe

6.在希望存储项目的路径下克隆当前仓库 git clone git@github.com:datawhalechina/llm-universe.git

7.将目录切换到 llm-universe cd llm-universe

8.安装所需的包 pip install -r requirements.txt 通常可以通过清华源加速安装 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

但是：我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库 nltk 的一些资源。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断。当我们使用 nltk 时就会报错。此处我们从国内仓库镜像地址下载相关资源。

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

但其实我发现我之前下过这个。