深度学习
文章平均质量分 63
竹子攀岩
这个作者很懒,什么都没留下…
展开
-
conda虚拟环境创建、安装cuda cudnn
1、conda create -n name python=3.8.52、conda activate name3、查看当前虚拟环境支持的cuda和cudnn版本,选择两者相匹配的版本进行安装:conda search cudatoolkitconda search cudnnconda install cudatoolkit=XXXX cudnn=XXXX...原创 2020-12-16 21:32:38 · 1293 阅读 · 1 评论 -
torch.nn.parallel.DistributedDataParallel 使用笔记
1、报错:ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm).是由于在DataLoader中的num_workers设置过大,系统的共享内存不够用。Please note that PyTorch uses shared memory to share data between processes, so if torch multi原创 2020-07-05 12:47:03 · 9963 阅读 · 0 评论 -
使用自己制作的数据集(制作成coco格式),运行fasterRCNN总结
1、使用github上的pytorch实现:https://github.com/jwyang/faster-rcnn.pytorch按照作者说明,配置好。注意,安装在服务器上的cuda版本要和编译这个工程使用的cuda版本一致,与pytorch调用的cuda版本一致,否则会报错:undefined symbol: __cudaPopCallConfiguration2、制作自己的数据:...原创 2020-04-25 18:00:41 · 1924 阅读 · 0 评论 -
tensorboardX
1、安装tensorboardX2、安装tensorflow3、在Xshell中增加隧道监听,tensorboard是6006端口4、程序将需要做图的数据写入log文件,注意在写完后要增加writer.close(),否则回报错:Unable to get first event timestamp for run .: No event timestamp could be fo...原创 2020-04-19 21:29:06 · 846 阅读 · 0 评论 -
FFmpeg将视频转为图像,报错
Error while opening decoder for input stream #0:0 : Resource temporarily unavailableCannot allocate memory解决方法:1、程序完成一次循环,将可以该删除的变量删掉,释放内存空间import gcdel variable_namegc.collect()2、修改...原创 2020-02-28 15:04:46 · 2034 阅读 · 0 评论 -
Bert
1\https://zhuanlan.zhihu.com/p/51413773原创 2020-02-01 17:46:48 · 113 阅读 · 0 评论 -
transformer
1\2\3\4\原创 2020-02-01 17:14:31 · 101 阅读 · 0 评论 -
bottlenet layer
1、bottleneck layer:原创 2020-02-01 17:08:26 · 937 阅读 · 0 评论 -
pytorch 函数
1、ModuleList与sequential:https://zhuanlan.zhihu.com/p/752066692、contiguous:https://zhuanlan.zhihu.com/p/645514123、torch.nn.init.xavier_uniform_:参数初始化方法https://blog.csdn.net/qq_32893343/articl...原创 2020-01-30 16:31:15 · 434 阅读 · 0 评论 -
reinforcement learning
1、自动学习reward function,因为好的reward function很难构造。这里有一篇深度强化学习劝退文:https://zhuanlan.zhihu.com/p/33936457。https://zhuanlan.zhihu.com/p/58832418。2、policy gradient适用于每个action可以从一个分布中得到的情况。https://zhuan...原创 2020-01-06 23:32:53 · 148 阅读 · 0 评论 -
exposure bias 和 teacher forcing
在sequence model的训练过程中,输入到下一时刻的是上一时刻的ground-truth,在测试过程中,输入到下一时刻的是模型自己在上一时刻的预测结果,这时,模型在测试过程中的表现可能很差,因为模型在训练和测试过程中对下一时刻的预测是从不同的分布中推断出来的,模型的预测错误容易被累计。而这种不一致导致训练模型和测试模型直接的Gap,就叫做 Exposure Bias。teacher f...原创 2020-01-06 17:30:44 · 618 阅读 · 0 评论 -
BOF、Fisher vector、VLAD简析。
都是图像特征的提取算法。https://www.cnblogs.com/jins-note/p/11342429.html。原创 2019-12-29 14:54:58 · 412 阅读 · 0 评论 -
resnet的理解
1、ReLU激活函数的作用:非线性能够增加模型的你和能力;ReLu相当于一个滤波器,过滤数据中的冗余信息,留下有用信息,达到数据降维的目的。2、低维度的数据流过ReLU容易造成信息坍塌(collapse)。低维度信息本身冗余度就低,经过ReLU之后,很多数据可能会被过滤掉(输出为0),因此,对应神经元的输出就会变为0,导致反向传播时,梯度为零,因此,此神经元丧失了学习能力。3、因此,解决非...原创 2019-12-27 16:32:25 · 385 阅读 · 0 评论 -
denseNet
1、resnet:每个层与前面某一层短路链接(一般是2-3层)连接方式是元素级相加。densenet:密集连接机制,每个层都会与前面所有层在channel维度上连接(concat)在一起(各个特征图的大小是相同的),并作为下一层的输入。2、为了保持特征图大小相同,使用denseblock+transition结构。3、denseblock中,各个层卷积之后均输出k个特征图,即特征图的c...原创 2019-12-24 11:20:22 · 175 阅读 · 0 评论 -
TensorFlow tfrecord文件读写
1、Tensorflow_07A_写入 TFRecord 与数据序列化:http://www.pianshen.com/article/922543591/2、Tensorflow_07B_读取 TFRecord 与反序列化过程:http://www.pianshen.com/article/719643562/...原创 2019-10-29 15:47:57 · 114 阅读 · 0 评论 -
LSTM学习
转自博文:http://mini.eastday.com/mobile/171224080616592.html。0. 从RNN说起循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。2 普通R...转载 2019-10-03 10:45:37 · 128 阅读 · 0 评论 -
autoencoder
参考:https://www.cnblogs.com/royhoo/p/Autoencoders.html。https://blog.csdn.net/qq_39521554/article/details/80697882。1、自编码器通过学习,将输入复制到输出来工作。自编码器的输入神经元和输出神经元个数相等。2、自编码器是一种能够通过无监督学习,学到输入数据的高效表示的人工神经网络。输...原创 2019-09-25 19:08:42 · 266 阅读 · 0 评论