2017年08月_独孤呆博

12月 11月 10月 09月 08月

原创十一、改变神经网络的学习方法（5）：随机梯度下降的变化形式(Adagrad、RMSProp、Adadelta、Momentum、NAG)

本文主要介绍随机梯度下降以及他的他的各种变化形式。首先回顾随机梯度下降方法，并指出它具有学习率固定，只能利用一阶导数信息的缺点，针对学习率固定的缺点，首先采用Adagrad首先学习率的自我调节，但是这种方法后期学习速度过慢，进而进入RMSProp和Adadelta两种方法。从利用导数的方面，介绍了牛顿法，Momentum和NAG，最后介绍结合RMSProp和Momentum的Adam。并对上述的所有方法进行一个总结。

2017-08-19 15:37:14 5081 5

原创十、如何选择神经网络的超参数

本节主要介绍了如何选择神经网络中的超参数。根据神经网络中超参数的特性对超参数进行分类，并给出了大致三种调整超参数的方法。首先根据机理确定激活函数的种类，代价函数的种类，权重初始化的方法，输出层的编码方式；其次根据宽泛策略给出一个结构较为简单神经网络，在这里可以确定网络层数，神经元个数；最后依次确定学习率，minibatch，lambda和回合数。

2017-08-18 10:33:06 51230 1

原创九、再看手写识别问题（内含代码详解及订正）

本文主要针对之前所提到的四种改进神经网络的学习方法所给出的代码，将与之前代码不同的部分进行了展示和分析。

2017-08-17 19:39:59 625

原创八、改进神经网络的学习方法（4）：权重初始化

本文主要介绍第四种改进神将网络的方法，即权重初始化。首先我们指出采用均值为0、标准差为1的独立高斯随机变量初始化网络的权重会使得权值输入的分布较宽，使得神经元容易输出饱和，进而降低学习速度，因此在第二部分采用0均值，方差根号下输入神经元数量分之一的独立高斯随机变量初始化网络的权重，降低方差，防止学习减速。实验表明这种方法可以提高学习速度，并在有的时候可以提高网络的分类正确率。

2017-08-17 11:19:29 6185 2

原创七、改进神经网络的学习方法（3）：过拟合及改进方法（正则化、Dropout）

本文主要对神经网络中的过拟合现象及其改进方法进行介绍。首先介绍什么事过拟合及过拟合带来的问题，其次提出检测和改进过拟合的方法。具体的改进方法包括增加真实或者人工生成的实验数据、减小网络规模和正则化，具体介绍了L_2正则化、L_1正则化、Dropout三种主要的正则化方法。最后从实际经验出发定性的分析了为什么正则化可以减小过拟合的问题，

2017-08-16 10:13:33 7965 3

原创六、改进神经网络的学习方法（2）：Softmax输出层

本文主要介绍改进神经网络的第二种方式，使用softmax输出层和log-likelihood函数，其优点在于，首先可以将输出值以概率分布的形式表达出来，其次避免了学习减速的问题。本文首先给出softmax输出层的定义，并对它的单调性和非局部性进行了证明；其次介绍likelihood函数，并给出了以softmax为输出层时的梯度表达式，从而证明了第二个优点。最后分析了该种方法的使用情况，及如何使用BP更新网络。

2017-08-14 21:08:21 7594

原创五、改进神经网络的学习方法（1）：交叉熵代价函数

本文主要介绍了改进神经网络的学习方式中的第一种方法，采用交叉熵函数代替均方误差函数作为代价函数。首先从反向传播的四个基本等式入手，分析出均方误差函数具有在输出错误较大时学习速度反而降低的缺点，从而引出了交叉熵函数。接着介绍了交叉熵函数的定义式，为什么交叉熵函数可以作为代价函数，并在多层网络中证明了它可以避免学习减速，从理论上阐述了为什么会想到使用交叉熵函数。最后通过实验对比了均方误差函数与交叉熵函数的实验效果。

2017-08-13 19:58:35 2607

原创四、用简单神经网络识别手写数字（内含代码详解及订正）

正文

2017-08-12 15:56:37 4556 4

原创一、神经网络 -- 从感知机讲起

本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记，因此在全文中对它们多次引用。初出茅庐，学艺不精，有不足之处还望大家不吝赐教。1. 感知机、sigmoid神经元与逻辑回归之间的关系1.1 感知机感知机是由科学家Frank Rosenblatt发明于1950至1960年代，它受到

2017-08-12 12:37:04 1153

原创二、神经网络的结构

本博客主要内容为图书《神经网络与深度学习》和国立台湾大学林轩田老师的《Machine Learning》的学习笔记，因此在全文中对它们多次引用。初出茅庐，学艺不精，有不足之处还望大家不吝赐教。1. 神经网络的结构1.1 前馈神经网络的结构示意图前馈神经网络的结构如下图\color{red}{下图}所示图X.\color{red}{图X.} 神经网络结构示意图⽹络中最左边的称为输⼊层

2017-08-09 19:59:01 2668

DCT基函数图像_MATLAB版本

这个是利用矩阵的方法生成DCT基图像，没有使用for循环的方法，代码更简洁，在MATLAB 执行的效率更高。具体原理请参考：http://blog.csdn.net/dugudaibo/article/details/78701487

2017-12-03

DCT基函数图像_MATLAB

上传的代码有问题，请不要审核通过；若审核通过请大家不要下载

2017-12-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人