- 博客(8)
- 收藏
- 关注
RSS订阅原创 pytorch gpu的使用设置
在命令行或者代码里对CUDA_VISIBLE_DEVICES这个变量赋值当在命令行输入CUDA_VISIBLE_DEVICES=0 python,GPU的个数就是1个了当设置CUDA_VISIBLE_DEVICES=0,1时，输出就是2个了当服务器中都多张卡时就可以通过CUDA_VISIBLE_DEVICES来指定使用几张，以及具体到哪一张卡...
2022-03-12 21:05:35
2569
原创 k8s的docker解决修改shm的大小问题记录
项目场景：基于docker跑单机多卡的分布式训练问题描述在训练的时候报shm的大小不够的问题，想通过添加shm-size参数改变大小，发现不生效解决方案：spec: volumes: - name: dshm emptyDir: medium: MemoryvolumeMounts: - name: dshm mountPath: /dev/shm...
2022-03-12 14:38:59
1685
1
原创 ConnectionError: Couldn‘t reach https://raw.githubusercontent.com/huggingface/...
@[TOC](运行load_metric(“seqeval”) 报ConnectionError: Couldn’t reach https://raw.githubusercontent.com/huggingface/datasets/1.6.2/metrics/seqeval/seqeval.py)对本地代码之直接运行load_metric(“seqeval”)报ConnectionError: Couldn’t reach https://raw.githubusercontent.com/hu
2022-03-05 20:42:30
3900
1
原创 2021-06-08
搭建ubuntu系统的深度学习环境，自己做个记录使用的系统环境使用的系统ubuntu16.04，之间用20.4的时候跑模型的时候，会出些莫名奇妙的错误。双硬盘自己的分区情况:efi:主分区,100M/boot:主分区,750M/swap:主分区,32G/:主分区,剩余的固态/home:逻辑分区,全部的机械硬盘环境python3.7.10,torch.1.8.1+cu101,torchvision0.9.1+cu101...
2021-06-08 18:50:02
152
1
原创 C++学习总结
C++学习前言一、类和对象const修饰成员函数前言在B站大学视频学习的总结，后续会持续更新提示：以下是本篇文章正文内容，下面案例可供参考一、类和对象const修饰成员函数形式如下：class Person{public: void showPerson() const { this->name="张山"; this->age=18; } string name; mutable int age;};被const修饰的成员函数叫常函数，是不可以修
2021-01-22 08:52:38
114
1
原创 对pytorch官网的bilstm+crf的batch版本的实现+用中文实体识别的数据训练batch版本bilstm+crf
代码的git地址(https://github.com/liaozhihui/MY_MODEL/blob/master/batch_bilstm_crf.py)文章目录前言代码的实现前言对pytorch官网的bilstm+crf的batch版本的实现，和只传入模型一句句子不通，一个batch里句子的长短不一样，需要对句子进行padding，以及要将padding的位置不能加入分数的计算中代码的git地址代码的实现创建一个mask的矩阵，矩阵维度batch_size*max_len，句子的长
2020-10-23 17:35:36
2914
24
原创 对Pytorch Bi-LSTM + CRF 代码详解
对Pytorch Bi-LSTM + CRF 代码中如何计算所有可能的路径分数和作一些解释公式为：log(∑y~∈YXeS(X,y~))log(\sum_{\tilde{y} \in Y_{X}}e^{S(X,\tilde{y})})log(∑y~∈YXeS(X,y~))(后面用logsumexp表示)在此之前可以先看完再看看这位的博客Bi-LSTM-CRF for Sequence Labeling PENG首先是定义S(X,y~)S(X,\tilde{y})S(X,y~)是对于输入序列
2020-09-25 19:20:22
2471
2
转载 pytorch中BatchNorm2d的方法测试
pytorch中BatchNorm2d的方法测试代码测试代码测试batchnormal是对一个batch_size中的每个channel进行归一化from torch import nnimport torchm = nn.BatchNorm2d(3)input = torch.randn(4,3,2,2)output = m(input)inputtensor([[[[ 0.4306, -0.7709], [ 0.6851, 0.1494]],
2020-05-09 14:47:28
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人