深度学习
sunflower_sara
NLP, 计算机视觉,机器学习,深度学习,以及相关的其他内容
展开
-
【报错】pytorch DataParallel - StopIteration: Caught StopIteration in replica 0 on device 0.
【报错】pytorch DataParallel - StopIteration: Caught StopIteration in replica 0 on device 0.环境:pytorch 1.5问题:pytorch单机多卡用nn.DataParallel 的时候无法forward,会报错原因:pytorch1.5的bug解决方案:降级到pytorch1.4参考文献:https://github.com/huggingface/t...原创 2020-11-13 14:52:55 · 769 阅读 · 0 评论 -
虚拟环境 创建 克隆 删除 镜像 conda 常用命令
创建虚拟环境(python3.7)conda create -n <env_name> python=3.7进入/激活该环境conda activate <env_name>退出该环境conda deactivate删除该环境(应退出待删除环境)conda remove -n <env_name> --all列出所有环境conda info --envsconda env list复制环境con...转载 2020-11-12 17:25:55 · 683 阅读 · 0 评论 -
【NLP】手动下载、本地加载BERT预训练权重
第一次跑程序的时候下载都是从aws下载的,如果太慢了,可以手动下载.bin文件(预训练权重)下载地址如下所示:BERT_PRETRAINED_MODEL_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin", 'bert-large-uncased': "https://s3.a.原创 2020-11-12 17:16:48 · 3946 阅读 · 4 评论 -
【深度学习】深度神经网络Inception结构以及作用
Inception V1-V4总结:Inception V1:Inception v1的网络,将1x1,3x3,5x5的conv和3x3的pooling,堆叠在一起,一方面增加了网络的width,另一方面增加了网络对尺度的适应性;Inception V2:一方面了加入了BN层,减少了Internal Covariate Shift(内部neuron的数据分布发生变化)...原创 2018-06-13 23:28:29 · 12491 阅读 · 4 评论 -
【深度学习】Tensorflow中InceptionV3模型迁移学习获取tensor的name
import tensorflow as tffrom tensorflow.python.framework import graph_util logdir="E:\DeepLearning\Git\cnn\inception_dec_2015\\"output_graph_path = logdir +'tensorflow_inception_graph.pb'doc=o...原创 2018-06-13 22:49:29 · 1141 阅读 · 0 评论 -
Windows下python库的安装方法
Windows下python库的安装方法 目录: 1.pip安装(需要pip) 2.在pythn官网下载安装包安装(不需要pip) 3.whl文件安装方法一:pip安装运行-输入”cmd“如果是tensorflow的话要进入dlwin36的环境 a原创 2018-01-31 16:48:06 · 420 阅读 · 0 评论 -
Windows版深度学习软件安装指南
本文微信地址:http://mp.weixin.qq.com/s/vhBOrR6uTL2vGXnYC8BS1w本文GitHub地址:https://github.com/philferriere/dlwin依赖项下面是我们将在 Windows 10(Version 1607 OS Build 14393.222)上配置转载 2018-06-13 23:09:02 · 667 阅读 · 0 评论 -
深度学习优化学习方法(一阶、二阶)
深度学习优化学习方法总结 (一阶为主)https://blog.csdn.net/sunflower_sara/article/details/81321886常用的优化算法:梯度下降法,牛顿法,拟牛顿法,共轭梯度法 (二阶为主)https://blog.csdn.net/sunflower_sara/article/details/81215135一阶方法:随机梯度下降(St...原创 2019-09-05 14:55:05 · 4889 阅读 · 0 评论 -
GemPooling
GemPoolingFine-tuning CNN Image Retrievalwith No Human AnnotationFilip Radenovic Giorgos Tolias Ond´rej Chum介于mean pooling和max pooling之间,二者是其特殊形式通过调节参数p,可以关注不同细度的区域公式:...原创 2019-09-05 12:04:16 · 8113 阅读 · 0 评论 -
ResNet家族:ResNet、ResNeXt、SE Net、SE ResNeXt
目录ResNetDenseNetResNeXtSE-ResNet, SE-ResNeXt (2018 Apr)涉及到的其他知识:Global average pooling (GAP)梯度爆炸、梯度消失、 梯度弥散BN层ResNet: 跳层残差结构ResNeXt: 并列的重复模块 增加一个维度SE Net: 增加通道上的注意力机制 eg:SE Re...转载 2019-09-04 01:54:04 · 14711 阅读 · 2 评论 -
目标检测涉及的一系列网络总结RCNN FastRCNN FasterRCNN FPN MaskRCN等
目录一、RCNN - Rich feature hierarchies for accurate object detection and semantic segmentation步骤:创新:缺点:候选区域算法selective search训练:二、FastRCNN步骤:优点:缺点:创新:ROI pooling训练:Los...原创 2019-09-03 01:09:53 · 2804 阅读 · 0 评论 -
given input size,caculated output size output size is too small at /pytorch/aten/src/thcunn/generic
在调用inceptionv3网络的时候报错:given input size (2048,6,6),caculated output size (2048,0,0) output size is too small at /pytorch/aten/src/thcunn/generic/spatialaveragepooling因为inceptionv3报错的地方kernel大小是8...原创 2019-08-23 14:32:07 · 10053 阅读 · 2 评论 -
深度学习、神经网络常见问题、基础问题
目录神经网络基础问题1.Backpropagation2.梯度消失、梯度爆炸如何防止梯度消失?如何防止梯度爆炸?3.常用激活函数比较1)什么是激活函数2)为什么要用3)都有什么(1) sigmoid函数(2) Tanh函数(3) ReLU(4) softmax函数(5)改进的ReLU4. sigmoid ,ReLU, softmax 的...原创 2018-07-26 23:28:17 · 3498 阅读 · 1 评论 -
少数据量情况下深度学习模型效果的提升
数据量少的情况下,eg.450例图像收集更多的数据数据增强预训练权重,即可以用迁移学习fine-turn的方法进行训练 效果不好的情况下有以下改进方法:1.数据处理数据平衡效果不好,是因为数据量太少,采样很不平衡。首先要标签平衡(一个batch里对阳性和阴性样本取相同数量的样本)(另一个是loss中的平衡) 数据量训练前增强,训练时增强方法:...原创 2018-07-30 20:24:48 · 11017 阅读 · 0 评论 -
CNN进化史论文下载
CNN进化史当然后面又出了新的网络先不说 LeCunBackpropagation Applied to Handwritten Zip Code:http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdfConvolutional Networks and Applications in Vision:http://yann.l...原创 2019-01-23 17:31:40 · 231 阅读 · 0 评论 -
win7安装深度学习 TensorFlow(CPU版本)
win7 64位系统无英伟达显卡不用装cuda和cudnn1.装vs20132.装python3.6https://www.python.org/downloads/release/python-368/下载安装python(推荐版本在3.5以上),记得勾选“Add Python x.x to Path”3.开始菜单 打开 cmd4....原创 2019-07-05 11:59:11 · 375 阅读 · 0 评论 -
landmark recognition and image retrieval地标识别和检索介绍分析
目录landmark recognition and image retrieval 地标识别和检索相关信息:2018竞赛数据集:具体内容展示:2019的两个竞赛Google Landmark Recognition 2019 地标识别评价指标:提交文件格式:数据:Google Landmark Retrieval 2019 地标检索2019数据集 ...原创 2019-08-13 00:51:05 · 2597 阅读 · 0 评论 -
tensorflow、pytorch、keras框架模型保存的格式汇总
各框架模型保存的格式汇总https://blog.csdn.net/charlotte_android/article/details/93889130Tensorflow1、CheckPoint(.ckpt)在训练 TensorFlow 模型时,每迭代若干轮需要保存一次权值到磁盘,称为“checkpoint”。这种格式文件是由 tf.train.Saver() 对象调用 save...转载 2019-08-13 00:55:23 · 3559 阅读 · 1 评论 -
Pytorch资料总结
pytorch官方中文文档https://ptorch.com/docs/1/torch-nnpytorch基础教程https://www.jianshu.com/p/79aebbc126e6pytorch常用代码段集合整理https://blog.csdn.net/zwqjoy/article/details/90258373Pytorch数据读取3种方...原创 2019-08-13 01:04:09 · 502 阅读 · 0 评论 -
卷积神经网络
目录 全连接网络卷积池化全连接层softmax层全连接网络参数多;速度慢;容易过拟合; 卷积概念:将神经网络中的每一小块进行更加深入的分析,得到抽象程度更高的特征,加深节点矩阵的深度 设置:卷积核/filter的大小、深度 调整结果的大小:是否进行全0 填充;步长 权值共享:每个过滤器参数一致权值共...原创 2018-07-23 11:06:25 · 162 阅读 · 0 评论