- 博客(13)
- 收藏
- 关注
RSS订阅原创 公网访问学校内网服务器教程
访问学校内网：1.修改服务器端口修改在 etc/ssh下的sshd_config文件添加端口号Port 89892.保存后重启ssh服务： systemctl restart sshd.service3.更改连接端口为89894.重新连接
2022-01-12 11:27:35
1410
1
原创 windows10本地配置深度学习环境(GPU版)
记录一下在windows10本地配置深度学习环境（GPU：NVIDIA GeForce RTX 3090-24G）的过程下载Pycharm专业版下载安装python（最好是默认路径，环境变量配置比较方便）查看NVIDIA驱动版本（这个直接百度），下载对应的CUDA版本。下图是最近的一些版本匹配关系：下载符合CUDA版本的 CUDA Toolkit安装好后在命令窗口使用 nvcc -V验证是否成功，使用set cuda验证环境变量是否配置成功，成功后可以安装cuDNN下载符合CUDA版本
2021-12-01 20:50:47
1913
原创 Linux常用命令总结
首先登陆进来先$sudo -s赋予root权限 有时候会因为权限问题出现错误：df -h 查看内存空间使用情况lsof |grep delete :系统有文件被删除，但是进程还活着，查看被删除进程的命令ps aux 查询进程du -h --max-depth=1 /var/lib/docker/* 查看该文件目录里所有文件的大小find / -xdev -size +100M -exec ls -l {} \;
2021-11-23 21:42:13
169
原创 服务器多GPU指定使用
os.environ["CUDA_VISIBLE_DEVICES"] = '2,3'model = nn.DataParallel(model,device_ids=[0,1])device = [0,1] if torch.cuda.device_count() > 1 else [0]代码中 CUDA_VISIBLE_DEVICES 这里设定为’2,3’，代表程序可见的GPU编号是第三块和第四块，也就是说如果你想使用第三块和第四块GPU跑程序的话，你需要设置device id 为 [0,1
2021-11-15 16:49:06
2696
原创 Pycharm 超出内存报错RuntimeError: DefaultCPUAllocator: not enough memory
RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:75] data. DefaultCPUAllocator: not enough memory: you tried to allocate 311500800 bytes. Buy new RAM!跑一些比较大的模型的时候，Pycharm经常会报这样的错误，我们可以设置一下Pycharm默认的最大内存：在Pycharm按下快捷键：Ctrl+Shift+A然后输入：VM opt
2021-09-16 15:53:57
27743
20
原创 Pyinstaller 打包exe （加入资源）
1.首先 安装包 pip install pyinstaller在终端cd到你的程序所在根目录先跑一遍：pyinstaller -F --noupx main_A.py （这里main_A.py是我要包装的主程序，加入–noupx可以解决解决运行生成的exe文件时的一些报错，例如：vcruntime140.dll没有被指定在Windows上运行(2)） 生成.spec文件如果想要加入其他的资源，如图片等，需要将程序里的资源路径进行以下操作：import os # 利用
2021-07-11 21:33:49
708
1
原创 OntoNote5数据集下载及处理过程（完整版）
为了跑NER模型，四大数据集，其中三个Weibo，Resume、MSRA都是公开的（可以通过该链接获取数据集）唯有OntoNote数据集需要授权使用，需要在LDC官网上去注册申请，直接在右上角搜索OntoNotes即可，注册时要注意，邮箱最好用edu的，这样比较容易通过。另外，组织（Organization）这里选择你的学校，如果组织里没找到你的学校，那么你自己注册一个组织。如果着急的话可以邮件联系ldc@ldc.upenn.edu 管理员很好的，很快就能回你的消息（注意用edu的邮箱）。在这里
2021-05-31 21:05:55
4291
22
原创 Flat-Lattice-Transformer 复现，附带数据集（Weibo、Resume、MSRA）
使用fastNLP（0.5.0）时报错：There is no usable gpu. set device as cpu or None.在复现论文Flat-Lattice-Transformer的时候，按照源代码：https://github.com/LeeSureman/Flat-Lattice-Transformer 的要求安装fastNLP==0.5.0的版本，但是还是存在问题，当在CPU的机器上跑代码的时候会报以下错误：ValueError: There is no usable gpu.
2021-05-28 16:21:44
2893
29
原创 AttributeError: ‘Tensor‘ object has no attribute ‘bool‘（已解决）
在训练的过程中遇到了AttributeError: ‘Tensor’ object has no attribute ‘bool’因为服务器上的Pytorch版本为1.0.0，而在Pytorch1.2版本中做了一些改变：数据类型支持的改进与变化比较操作返回的数据类型由 torch.uint8 变为 torch.bool1>>> torch.tensor([1, 2, 3]) < torch.tensor([3, 1, 2])2tensor([1, 0, 0], dtype=t
2021-05-05 17:00:16
4868
3
原创 问题已解决UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0x8c in position 2: ordinal not in range
在pc端生成的预处理文件可能在服务器上decode不了，所以需要直接在linux服务器上进行数据预处理。Traceback (most recent call last): File "/home/data4t/s170131097/anaconda3/lib/python3.6/tarfile.py", line 188, in nti s = nts(s, "ascii", "strict") File "/home/data4t/s170131097/anaconda3/lib/py
2021-05-05 16:54:35
472
原创 关于 GELU 激活函数
论文链接：https://arxiv.org/pdf/1606.08415.pdf（百度云链接: https://pan.baidu.com/s/1KA6IIhUcVQoS5bErGDYB5w 密码: vqu7）在深度学习中，我们加入Relu、tanh等函数是为了实现模型的非线性，让模型可以逼近非线性模型。但我们也想要模型具有很好的泛化能力，那么我们需要对模型进行随机正则，最常见的去拟合化就是dropout。GELU函数就是一个综合体，它实现了非线性加上泛化。GELU表达式：??????????
2021-04-18 21:45:29
2046
1
原创 nltk安装punkt Resource punkt not found. Please use the NLTK Downloader to obtain the resource:
nltk安装punkt##当调用nltk包的时候报错（已解决） Resource punkt not found. Please use the NLTK Downloader to obtain the resource: >>> import nltk >>> nltk.download('punkt') 完整报错如下(base) @Mac data2text-transformer % python scripts/data_extr
2021-04-16 21:16:54
1014
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人