深度学习
binlin1209
这个作者很懒,什么都没留下…
展开
-
基于深度学习的光流估计算法汇总
光流估计是计算机视觉研究中的一个重要方向,其不像其他感知任务会显式的在应用中呈现。如今,光流估计也在基于视频的任务中承担着越来越重要的作用。原创 2022-09-10 23:24:15 · 693 阅读 · 5 评论 -
学习率衰减策略
在训练网络时,学习率用来控制参数的更新速度,使用小的学习率,参数的更新速度就会比较慢,也有可能导致模型停在局部极小值上,不利于跳出去寻找一个更好的局部极小值;使用的学习率过大时,参数在搜索过程中会出现震荡,可能在局部最优值附近震荡,网络不能收敛,也可能会越过最优参数,导致模型找不到好的参数。在训练时一般都选择一定的学习率衰减策略,在初期学习率大一些,随着训练的进行逐渐减小。...原创 2022-09-01 10:34:06 · 463 阅读 · 0 评论 -
embedding层和全连接层的区别是什么?
二者概念不太一样embedding目的是把一个高纬的,每个维度上相对稀疏的数据投影到相对低维的,每个维度可以取实数集的数据操作。本质上是用连续空间替代(准)离散空间,以增加空间利用率,减少不必要的parameter。nlp和推荐系统里的embedding,输入数据就是word id或item ID,也就是one hot encoding,输入维度就是词的个数,每个维度上取01,空间利用率极低。这种情况下,一般的embedding的实现方式就是一个用全连层,输入维度高,输出维度低。当然embeddibg也可以原创 2021-01-08 10:15:59 · 1454 阅读 · 0 评论 -
为什么要用one-hot编码
将离散型特征使用one-hot编码,确实会让特征之间的距离计算更加合理。比如,有一个离散型特征,代表工作类型,该离散型特征,共有三个取值,不使用one-hot编码,其表示分别是x_1 = (1), x_2 = (2), x_3 = (3)。两个工作之间的距离是,(x_1, x_2) = 1, d(x_2, x_3) = 1, d(x_1, x_3) = 2。那么x_1和x_3工作之间就越不相似吗?显然这样的表示,计算出来的特征的距离是不合理。那如果使用one-hot编码,则得到x_1 = (1, 0, 0)原创 2020-07-14 16:41:59 · 1446 阅读 · 0 评论 -
信息熵
信息熵也被称为熵,用来表示所有信息量的期望。softmax值,就是该元素的指数与所有元素指数和的比值原创 2020-07-14 16:00:54 · 348 阅读 · 0 评论 -
TensorRT为什么能让模型跑快快
https://zhuanlan.zhihu.com/p/64933639原创 2020-07-13 22:07:29 · 462 阅读 · 0 评论 -
空间金字塔池化(Spatial Pyramid Pooling, SPP)
空间金字塔池化(Spatial Pyramid Pooling, SPP)在SPPnet和Fast-RCNN中都用到了空间金字塔池化(Spatial Pyram...原创 2020-07-07 23:56:45 · 809 阅读 · 0 评论 -
Dropout技术为什么能防止过拟合?
在学习深度学习时,常常有人会问到这样一个问题:Dropout技术为什么能防止过拟合?当然,简单的回答是:防止参数过分依赖训练数据,增加参数对数据集的泛化能力。这样的回答,当然是正确的。但有点抽象。我来说点具体的案例,以帮助大家更形象化地理解。首先,这涉及到深度学习的分布式特征表达。1.什么是分布式特征表达呢?分布式表征(Distributed Representation),是人工神经网络研究的一个核心思想。那什么是分...原创 2020-07-07 05:06:24 · 1306 阅读 · 0 评论 -
空洞卷积(Atrous Convolution)
优点:在不做pooling损失信息和相同的计算条件下的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息。空洞卷积经常用在实时图像分割中。当网络层需要较大的感受野,但计算资源有限而无法提高卷积核数量或大小时,可以考虑空洞卷积。空洞卷积(dilated convolution)是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野,让原本3x3的卷积核,在相同参数量和...转载 2020-07-06 20:35:51 · 561 阅读 · 0 评论 -
Batch Normalization详解
Batch Normalization是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。在网上虽然已经有很多相关文章,但基本都是摆上论文中的公式泛泛而谈,bn真正是如何运作的很少有提及。本文主要分为以下几个部分:BN的原理使用pytorch验证本文的观点使用BN需要注意的原创 2020-07-06 17:05:00 · 512 阅读 · 0 评论 -
ResNet网络结构详解与模型的搭建
ResNET(Deep Residual Learning for Image Recognition )ResNet网络是在2015年由微软实验室提出,斩获当年ImageNet竞赛中分类任务第一名,目标检测第一名。获得COCO数据集中目标检测第一名,图像分割第一名。下图是ResNet34层模型的结构简图。在ResNet网络中有如下几个亮点:提出residual结构(残差结构),并搭建超深的网络结构(突破1000层)使用batch normalization 加速训练(丢弃dropout)在R原创 2020-07-06 14:36:48 · 7312 阅读 · 0 评论 -
Deeplabv3+网络结构详解与模型的搭建
aaaaa转载 2020-07-06 13:12:09 · 23662 阅读 · 1 评论 -
Googlenet网络结构详解与模型的搭建
AAA原创 2020-07-06 13:10:12 · 605 阅读 · 0 评论 -
AlexNet网络结构详解与模型的搭建
AAAA原创 2020-07-06 13:09:25 · 478 阅读 · 0 评论 -
Xception网络结构详解与模型的搭建
BBB原创 2020-07-06 13:08:52 · 13345 阅读 · 5 评论 -
MobileNet(V1,V2,V3)网络结构详解与模型的搭建
AAA转载 2020-07-06 13:08:02 · 28496 阅读 · 3 评论 -
VGG网络结构详解与模型的搭建
AAAAA原创 2020-07-06 13:06:47 · 2716 阅读 · 0 评论 -
训练分类器为什么要用cross entropy loss而不能用mean square error loss?
对于多分类的标签(即教师信号),从本质上看,通过One-hot操作,就是把具体的标签(Label)空间,变换到一个概率测度空间(设为 p),如[1,0,0](表示它是第一个品类)。可以这样理解这个概率,如果标签分类的标量输出为1(即概率为100%),其它值为0(即概率为0%)。而对于多分类问题,在Softmax函数的“加工”下,它的实际输出值就是一个概率向量,如[0.96, 0.04, 0],...原创 2018-05-09 23:54:11 · 3003 阅读 · 0 评论 -
卷积神经网络中用1-1 卷积核的作用
卷积神经网络中用1*1 卷积核的作用linbin 标签(空格分隔): 卷积神经网络 优点:可以降低特征图的维数,防止参数过多,有利于增加深层网络的宽度增加模型深度,一定程度上提升模型的表征能Inception下图是Inception的结构,尽管也有不同的版本,但是其动机都是一样的下图是Inception的结构,尽管也有不同的版本,但是其动机都是一样的: ...原创 2018-05-09 16:12:13 · 3360 阅读 · 3 评论 -
图像检索研究进展:浅层、深层特征及特征融合 笔记
图像检索研究进展:浅层、深层特征及特征融合欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 ...转载 2018-04-22 14:50:06 · 5322 阅读 · 0 评论