qq_23304241的博客

目前已有很多方法和技术用于构造分类模型，如决策树、神经网络、贝叶斯方法、Fisher线性分析(Fld)以及支持向量机(Support Vector Machine, SVM)。基于超完备字典的信号稀疏分解是一种新的信号表示理论，其采用超完备的冗余函数系统代替传统的正交基函数，为信号自适应的稀疏扩展提供了极大的灵活性。稀疏分解可以实现数据压缩的高效性，更重要的是可以利用字典的冗余特性捕捉信号内在的本...

在caffe里搭建网络时，当两个通道连接到一块时，经常会遇到Eltwise层和Concat层，这两层有什么区别和联系呢一、Concat层Concat层的作用就是将两个及以上的特征图按照在channel或num维度上进行拼接，并没有eltwise层的运算操作，举个例子，如果说是在channel维度上进行拼接conv_9和deconv_9的话，首先除了channel维度可以不一样，其余维度必须...

做图像质量评价总会碰到各种各样的数据库，在此做一个总结，有的是常用的，有的是一些论文中提及的，会持续更新！立体图像数据库• LIVE S3D IQA DB Phase I [1] : Twenty reference and 365 distorted S3D image pairs, of which 80 pairs are related to each of JPEG, JPEG2...

https://blog.csdn.net/jacke121/article/details/79874555

1、深度学习（deep learning）优化调参细节（trick）https://blog.csdn.net/h4565445654/article/details/704779792、如何调试神经网络（深度神经网络）？https://blog.csdn.net/dcxhun3/article/details/539245243、深度学习调参策略https://blog.csdn.n...

https://www.jiqizhixin.com/articles/2019-01-25-6

https://blog.csdn.net/chenriwei2/article/details/45291739

1. view(out.size(0), -1)目的是将多维的的数据如（none，36，2，2）平铺为一维如（none，144）。作用类似于keras中的Flatten函数。只不过keras中是和卷积一起写的，而pytorch是在forward中才声明的。 def forward(self, x): out = self.conv(x) ou...

训练集，测试集，检验集的区别与交叉检验最近在看机器学习的东西发现验证集的（Validation set） 有时候被提起到，以时间没明白验证集的真正用途。首先，这三个名词在机器学习领域的文章中是很常见的，以下是这三个词的定义。 Training set: A set of examples used for learning, which is to fit the parameters [i.e....

1.SoftmaxWithLoss对一对多的分类任务计算多项逻辑斯蒂损失，并通过softmax传递预测值，来获得各类的概率分布。该层可以分解为SoftmaxLayer+MultinomialLogisticLossLayer，但它的梯度计算在数值上更为稳健。在测试时，该层可用SoftmaxLayer替代。前向传播bottom： 1.（N×C×H×W）维的预测得分x，N是batch数，类别总数为K=...

本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则...

   近期一直在看卷积神经网络，想改进改进弄出点新东西来。看了好多论文，写了一篇综述。对深度学习中卷积神经网络有了一些新认识，和大家分享下。　　事实上卷积神经网络并非一项新兴的算法。早在上世纪八十年代就已经被提出来，但当时硬件运算能力有限，所以当时仅仅用来识别支票上的手写体数字，而且应用于实际。2006年深度学习的泰斗在《科学》上发表一篇文章，论证了深度结构在特征提取问题上的潜在实力。从而掀起了深...

 Traditional Pooling Methods要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。众所周知CNN网络中常见结构是：卷积、池化和激活。卷积层是CNN网络的核心，激活函数帮助网络获得非线性特征，而池化的作用则体现在降采样：保留显著特征、降低特征维度，增大kernel的感受野。深度网络越往后面越能捕...

1*1卷积的主要作用有以下几点：1、降维（ dimension reductionality ）。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。2、加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力.3*3的...

“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。 2.其次，它能加快收敛速度。 Sigmoid函数需要一个实值输入压缩至[0,1]的范围 σ(x) = 1 / ...

在解决实际问题的过程中，我们会倾向于用复杂的模型来拟合复杂的数据，但是使用复杂模型会产生过拟合的风险，而正则化就是常用的减少过拟合风险的工具之一。过拟合过拟合是指模型在训练集上误差很小，但是在测试集上表现很差(即泛化能力差)，过拟合的原因一般是由于数据中存在噪声或者用了过于复杂的模型拟合数据。如下图所示，下图中的训练样本是三次多项式加了点噪声得到的，然后用不同的多次项拟合，M代表最高次项次...

最近看到CNNH(CNN Hashing)，里面有提到交叉熵损失函数，找了一下，以备查忘转载 http://blog.csdn.net/u012162613/article/details/44239919本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函...

转载【https://blog.csdn.net/qinqbaobei/article/details/54092619】Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇论文，作者Jost Tobias Springenberg , Alexey Dosovitskiy , Thomas Brox, Martin Ried...

一、局部最小值求解函数的梯度，当梯度值为0时，可以说该点是该函数的极大值或者极小值。当把定义域内的所有极值点都求出来，进行比较之后，最终可以确定函数在定义域内的最值。如果函数是凸函数，那么极值点就是最值点。可以说极值点就是局部最小值，最值点就是全局最小值。(不考虑边界)由于有界集上的连续可微函数是一定能通过梯度下降法找到极值点的。对于凸函数，从任意一点出发，沿着梯度下降的方向走，最...

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。为了防止overfitting，可以...