机器学习与深度学习理论2
wonengguwozai
欢迎爱技术的同行交流
展开
-
脑暴中的想法
二分类对模糊效果不好:1、增加个图像复原任务(变成multitask形式)让分类获得好的特征 2、模型忽略了较浅的特征,模型输入除图像外加入一些手工特征如har r,LBP,candy,或增强的核。原创 2021-09-27 17:25:38 · 130 阅读 · 0 评论 -
移动端网络模型总结
移动端网络模型SqueezeNetICLR-2017-SqueezeNet-伯克利&斯坦福背景:从block内部构件组合角度考虑,基于AlexNet网络做的相关改进创新点:将 3x3卷积替换成 1x1卷积(参数量减少了9倍)减少 3x3 卷积的通道数(将3X3XMXN,中的输入通道M和输出通道N数量减少)将降采样后置(提升精度,但该方式增加了计算量)采用了模块化的卷积:Fire 模块。Fire模块主要包含两层卷积操作:一是采用1x1卷积核的squeeze层原创 2020-06-10 17:48:41 · 580 阅读 · 0 评论 -
简介RNN、LSTM
记录一篇简单介绍RNN、LSTM的博文,写的很明了。链接原创 2019-07-01 16:52:43 · 212 阅读 · 0 评论 -
1X1卷积核到底有什么作用
1*1的卷积核在NIN、Googlenet中被广泛使用,但其到底有什么作用也是一直困扰的问题,这里总结和归纳下在网上查到的自认为很合理的一些答案,包括1)跨通道的特征整合2)特征通道的升维和降维 3)减少卷积核参数(简化模型)部分转载自caffe.cn作用:1. 实现跨通道的交互和信息整合2. 进行卷积核通道数的降维和升维3.对于单通道feature map 用单核卷积即为乘以一个参数,...原创 2017-06-10 11:23:38 · 17443 阅读 · 0 评论 -
Regularization(正则化)、Dropout和BatchNormalization(批规范化)
本文主要讲解神经网络中的正则化(Regularization)和Dropout,都是用了减小过拟合。正则化在机器学习领域中很重要。主要针对模型过拟合问题而提出来的。本文是观看麦子学院的视频整理而来。下面开始介绍。1 正则化机器学学习中的正则化相关的内容可以参见李航的书:统计学习方法。参阅者可以先了解有关的内容。正则化是用来降低overfitting(过拟合)的,减少过拟合的的其他方法有:增...原创 2017-10-16 19:26:00 · 1536 阅读 · 1 评论 -
由SPPnet有关解决深度网络输入必须固定的问题思考
今天在看和目标检测相关的系列论文(rcnn-sppnet-fast-rcnn,faster-rcnn),在看到SPP-net时,提到sppnet解决了深度网络要求输入必须固定的问题。而且分析了深度网络需要固定输入尺寸的原因是因为有全链接层,那么是为什么呢? 仔细思考下,在有卷积层和全连接层的深度神经网络,不同大小的输入图片对卷积参数的训练是没有影响的(不同大小的输入图片对卷积核原创 2017-06-13 16:02:24 · 1626 阅读 · 0 评论 -
卷积神经网络传播过程中感受野的理解以及feature map size 、receptive field size的计算(代码)
今天看论文时偶然提到了感受野这个名词,这个词在初学卷积神经网络时就已经解除了,但是还没有对其有深入的了解 ,因此在网上百度了一些有关感受野的相关的资料,并自己亲自跑了下计算网络传播过程中感受野大小和feature map大小的代码,感觉理解的更加深入了,下面记录下过程:这里感谢http://blog.csdn.net/gzq0723/article/details/53138430 博主共原创 2017-06-12 18:54:36 · 1327 阅读 · 0 评论 -
caffe 分类任务中训练与测试网络命令格式
1、训练网络是的指令(该命令为迁移已有的Alexnet权重,如若从头训练则可将--weight字段去掉即可)TOOLS=./build/tools $TOOLS/caffe tra原创 2017-06-10 10:38:20 · 866 阅读 · 0 评论 -
在 Caffe 中如何计算卷积后的特征图尺寸
在 Caffe 中如何计算卷积卷积看成是多个局部的全连接。卷积后长宽计算(方形):outputh=imageh+pad−kernelhstride+1上述公式错误,感谢朝朝与暮暮指出错误正确公式为: outputw=⌊imagew+2pad−kernelsizestride⌋+1outputh=⌊imageh+2pad−kernelsizestride⌋+1其中stride大于等于1一般来说下式应...转载 2017-01-05 18:44:38 · 9384 阅读 · 0 评论 -
自己跑caffe 反卷积实验(图像去噪)总结
1、在复原韩国Hyeonwoo Noh 的Learning Deconvolution Network for Semantic Segmentation的实验过程中,运行训练网络的指令是报错:...error :out of memory 作者的服务器配置为 Nvidia GTX Titan X GPU with 12G memory,我的服务器配置为GeForce GTX 980 wi原创 2016-12-12 23:09:26 · 5247 阅读 · 6 评论 -
随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
注:该文对梯度下降方法更新模型权重介绍的很详细。梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如有哪个方面写的不对,希望网友纠正。下面的h(x)是要拟合的函数,J(theta)损失函数,theta是参数,要迭代求解的值,theta求解出来了那最终要拟合的函数h(t转载 2016-11-28 21:51:55 · 386 阅读 · 0 评论 -
交叉熵代价函数
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,s转载 2016-04-11 15:32:08 · 560 阅读 · 0 评论