![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Mister Zhu
云在青天水在瓶
展开
-
【深度学习】CUDA 和 TensorRT 博客搜集
1.CUDACUDA入门博客CUDA学习–CUDA流CUDA学习系列博客2.TensorRTTensorRT开发者手册TensorRT 的 C++ API 使用详解原创 2021-07-07 10:33:05 · 618 阅读 · 0 评论 -
【深度学习】网络中隐含层神经元节点的个数(需要学习的特征数目)
http://blog.csdn.net/zouxy09/article/details/99833991、网络中隐含层神经元节点的个数(需要学习的特征数目),采集的密度(也就是convolution时的移动步伐,也就是在什么地方计算特征)和感知区域大小对最终特征提取效果的影响很大,甚至比网络的层次数,deep learning学习算法本身还要重要。2、Whitening在预处转载 2017-06-20 15:39:21 · 15494 阅读 · 0 评论 -
【深度学习】查准率、召回率、AP、mAP
AP和mAP计算详解(代码全解)参考:https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247490269&idx=3&sn=718b101325a37b152951772e11d4efde&chksm=f9a26852ced5e144200ae2f95d3bd15d9e213dff2728f85defdf75fcd5aeb7acd53f50eb233c&mpshare=1&scene=1&原创 2021-04-24 14:02:03 · 526 阅读 · 0 评论 -
【深度学习】自然场景中文汉字数据集下载
自然场景中文汉字数据集本数据集包括3273类汉字,共47万张汉字图片,每类汉字归类在一个文件夹下,各图像尺寸不一,包含在自然场景下能见到的各种字体。本人由于需要大量的自然场景中文汉字数据集,而手头只有少部分汉字数据集,因此尝试过自己生成汉字数据集,但是自己生成的汉字和我项目需要的自然场景汉字数据集并非同分布,在我自己的项目数据集下识别效果特别差。因此,从各处搜来大量标注的自然场景图片数据集,处...原创 2019-06-12 09:58:53 · 3293 阅读 · 0 评论 -
【深度学习】pytorch-tensorflow-anaconda笔记
1.安装CornerNet、Anaconda和pytorch遇到的问题2.安装tensorflow-gpu版本3.pytorch版本安装4.tensorflow和pytorch指定多GPU进行运算5.pytorch和tensorflow中的tensor与numpy转换6.pytorch数据的并行计算(DataParallelism)7.Pytorch查看可训练参数8.Pytorch冻...原创 2019-11-04 21:21:42 · 1907 阅读 · 0 评论 -
【深度学习】单位高斯化
将输入x减去均值u,然后再除以标准差,就是所谓的单位高斯化即 (x-u)/σ这一用法在斯坦福李飞飞视觉课程的批量归一化中第12分钟讲到。原创 2018-07-17 21:54:28 · 165 阅读 · 0 评论 -
【深度学习】锐化滤波器核 与 边缘检测核
1.锐化滤波器核 图1 锐化滤波器核 对于锐化滤波器核来说,权重加起来和为1。图像与锐化滤波器做卷积,对于感兴趣的像素来说,新像素是用...原创 2018-06-26 01:33:51 · 848 阅读 · 0 评论 -
【深度学习】全连接层的作用
原文链接https://www.zhihu.com/question/41037974/answer/150522307全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作...转载 2018-06-29 09:32:20 · 1569 阅读 · 0 评论 -
【深度学习】sigmoid - 二次代价函数 - 交叉熵 - logistic回归 - softmax
1. sigmoid函数:σ(z) = 1/(1+e^(-z))sigmoid函数有个性质:σ'(z) =σ(z) * ( 1 - σ(z) )sigmoid函数一般是作为每层的激活函数,而下边的几种是代价函数。2. 所有样本的二次代价函数:C=1/2 *Σ (y - a)^2,这里的激活函数也使用了sigmoid函数二次代价函数存在当结果明显错误时,学习却很慢的问题,如,当输出...原创 2018-06-29 16:16:42 · 2385 阅读 · 0 评论 -
【深度学习】ReLU激活函数的缺点
训练的时候很”脆弱”,很容易就”die”了,训练过程该函数不适应较大梯度输入,因为在参数更新以后,ReLU的神经元不会再有激活的功能,导致梯度永远都是零。例如,一个非常大的梯度流过一个 ReLU 神经元,更新过参数之后,这个神经元再也不会对任何数据有激活现象了,那么这个神经元的梯度就永远都会是 0.如果 learning rate 很大,那么很有可能网络中的 40% 的神经元都”dead”了。...转载 2018-08-11 11:18:51 · 11793 阅读 · 0 评论 -
【深度学习】过拟合 与 欠拟合,以及解决方法
1.过拟合与欠拟合的区别:欠拟合在【训练集】和【测试集】上的性能都较差;过拟合往往能较好地学习【训练集数据】的性质,而在【测试集】上的性能较差。在神经网络训练的过程中,欠拟合主要表现为输出结果的高偏差,而过拟合主要表现为输出结果的高方差。“欠拟合”常常在模型学习能力较弱,而数据复杂度较高的情况出现,此时模型由于学习能力不足,无法学习到数据集中的“一般规律”,因而导致泛化...原创 2018-08-19 09:48:11 · 2787 阅读 · 0 评论 -
【深度学习】ResNet的思想
转载地址:https://www.jianshu.com/p/e58437f39f65网络的深度为什么重要?因为CNN能够提取low/mid/high-level的特征,网络的层数越多,意味着能够提取到不同level的特征越丰富。并且,越深的网络提取的特征越抽象,越具有语义信息。为什么不能简单地增加网络层数?对于原来的网络,如果简单地增加深度,会导致梯度弥散或梯度爆炸。对于该问...转载 2018-08-25 13:37:11 · 1106 阅读 · 0 评论 -
【深度学习】LeNet-5、AlexNet、VGG16、GoogLeNet、ResNet
有多少层并不把池化层算在内。##LeNet-5:结构 C-P-C-P-FC-FC,即 卷积1 - 池化 - 卷积2 - 池化 - 全连接1 - 全连接2 - softmax输出层 ##AlexNet:结构5个卷积层,3个全连接层,共八层,6千万参数(即60M个参数)...原创 2018-08-25 17:31:43 · 2678 阅读 · 0 评论 -
【深度学习】训练集、验证集、测试集
训练集:使用训练集来对某个网络模型进行训练,使用梯度下降法来更新普通参数,如权重和偏置。验证集:使用验证集来对训练集训练的模型调节他的超参数(如:网络层数、网络节点数、迭代次数、学习率、正则化参数),这些超参数在训练集训练时候不会更改,在验证的时候是通过认为设定某个超参数,来得到准确率,并选择该模型准确率最好的一组超参数。测试集:通过验证集选择的一组超参数,结合训练集得到的普通参数(如:权...原创 2018-08-21 17:45:12 · 628 阅读 · 0 评论 -
【深度学习】L1、L2损失 和 L1、L2正则化
损失函数:L1损失:即平均绝对误差(MAE):MAE = 1/n*∑ | yi - yi^ |L2损失:即均方误差(MSE):MSE = 1/n*∑ (yi - yi^ )^2正则化:L1正则化:即对权重矩阵的每个元素绝对值求和,λ * ||W||L2正则化:即对权重矩阵的每个元素求平方和(先平方,后求和),1/2 * λ * ||W||^2注意:正则化项不需要求平...原创 2018-08-29 13:02:48 · 3628 阅读 · 0 评论