文章目录
1.将.ipynb文件导出为.md文件
先安装两个工具
pip install nbconvert
pip install pandoc
然后在coda prompt环境里进入文件所在目录,比如我的是存在H:\develop\NLP\python study文件夹里,输入:
cd /d H:\develop\NLP\python study
jupyter nbconvert --to markdown 文件名.ipynb
转换成功,去原文件夹去找转换过的文件。
2.常用快捷操作
1.copilot快捷键修改
因为会和pycharm默认的快捷键冲突,所以需要修改下快捷键
**将下一行完成应用于编译器Copilot: Apply Next Line of Completion to Editor Ctrl+Alt+向右箭头
下一词应用于编译器 Copilot: Apply Next Word of Completion to Editor Ctrl+向右箭头
隐藏补全项 ESC
显示补全 Copilot: Show Completions Alt+Z
显示上一条补全 Copilot: Show Previous Completions Alt+X
显示上一条补全 Copilot: Show Next Completions Alt+C
显示十条建议 Copilot: Open Completions Alt+V
打开聊天机器人 Open GitHub Copilot Chat Open GitHub Copilot Chat**
2.常用快捷操作
大段注释掉
如果想注释一大段代码,选中那一整段代码,如果是 Windows 按 control 和斜杠,如果是 Mac 按 command 和斜杠这样,那一整段代码前面都会被自动加上井号。如果你想撤销注释,只要选中再按一次 Ctrl 和斜杠或 command 和斜杠即可。
也可以用三引号包裹住注释。你可能会想,跨行字符串用的不也是三引号吗?是的。但是如果你不打印他,不用他赋值或不对他进行任何其他操作,这就相当于那个跨行字符串,没有任何执行效果的话,和注释也没有区别了,所以大家也会用三引号进行多行注释这个东西因为不影响程序执行。
3.查看某段代码的运行结果 ,设置断点,然后用dubug模式,在调试器中打开
可以在下面单步执行或者步出,步进等等。
4、使用huggingface的模型报错,连接错误怎么处理
前往要使用的模型的Huggingface主页,将里面的文件手动下载到本地。
然后模型改成相对路径
比如我要使用distilbert-base-uncased这个模型
1.下载离线模型
去下载huggingface搜索distilbert-base-uncased找到这个网址
https://huggingface.co/distilbert/distilbert-base-uncased/tree/main
然后下载所有的文件到本地。
2.加载离线模型
比如我的py文件想和模型在同一文件夹下,就在这个文件建立个文件夹,文件夹名叫distilbert-base-uncased,注意,因为我这里上层文件夹也叫这个名字,容易混淆,所以记得是和mask language 这个ipynb在同一目录下那个文件夹
然后命令如下
import warnings # 导入warnings模块,用于处理警告信息
warnings.filterwarnings("ignore") # 设置warnings模块,使其忽略所有警告
from transformers import AutoModelForMaskedLM # 从transformers库中导入AutoModelForMaskedLM类,该类用于预训练的掩码语言模型
tokenizer=AutoTokenizer.from_pretrained("./distilbert-base-uncased",trust_remote_code=True) # 加载分词器,指定路径为当前目录下的distilbert-base-uncased文件夹
model=AutoModel.from_pretrained("./distilbert-base-uncased",trust_remote_code=True) # 加载模型,指定路径为当前目录下的distilbert-base-uncased文件夹
这段代码首先导入必要的模块,然后设置warnings模块以忽略所有警告,接着从transformers库中导入AutoModelForMaskedLM类,该类用于预训练的掩码语言模型。接下来,使用AutoTokenizer类从指定的路径加载分词器,该路径指向当前目录下的distilbert-base-uncased文件夹。最后,使用AutoModel类从相同的路径加载模型。
rust_remote_code=True的作用是告诉transformers不要检查远程代码,直接加载模型或分词器,即使这些代码可能包含自定义代码。