- 博客(27)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 深度学习 --- 优化入门二（SGD、动量(Momentum)、AdaGrad、RMSProp、Adam详解）
另在一篇文章中，我们介绍了随机梯度下降的细节以及如何解决陷入局部最小值或鞍点等问题。在这篇文章中，我们看看另一个困扰神经网络训练的问题，即病态曲率。虽然局部最小值和鞍点可以阻止我们的训练，但是病态曲率可以使训练减慢到机器学习从业者可能认为搜索已经收敛到次优极小值的程度。让我们深入了解病理曲率是什么。病态曲率考虑以下损失轮廓。 ...
2018-11-30 11:56:12
40654
17
原创 深度学习 --- 优化入门一（梯度下降所面临的问题）
前面几节详细介绍了卷积神经网络和深度卷积神经网络，这个网络可以说是为图像处理量身制作，同时在2010年，hintion带领的团队使用AlexNet网络（深度卷积网络）在ImageNet大赛中获得冠军，更是奠定了卷积网络的商业地位，到目前为止该网络也是图像识别的主要网络之一。本节开始针对深度网络进行优化探讨，然后针对卷积神经网络探讨优化问题本篇。不是本人所写，是国外的博客，在阅读时，感觉写的很好，同...
2018-11-29 11:57:23
10163
3
原创 深度学习 --- 深度卷积神经网络详解（AlexNet 网络详解）
本篇将解释另外一个卷积神经网络，该网络是Hinton率领的谷歌团队（Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton）在2010年的ImageNet大赛获得冠军的一个神经网络，因此本节主要参考的论文也是这次大赛的论文即“ImageNet分类与深卷积神经网络”，大家可以找到这篇论文看看，好，和前面一样，本节主要是介绍网络的架构，同时和LeNet...
2018-11-28 11:01:19
21560
原创 深度学习 --- 卷积神经网络CNN（LeNet-5网络学习算法详解）
上一节我们详细探讨了LeNet-5网络的架构，但是还没有解释该网络是如何进行学习的，如何更新权值的，本节将接着上一节进一步CNN的学习机制和权值更新过程，这里请大家一定要对CNN网络有一个清晰的认识，知道每一层是做什么的，为什么这样设置。原因在哪等。大家在学习的过程中需要多问自己几个为什么，这样才能快速进步的，好，废话不多说，开始今天的内容： 我们知道了CNN其实主要组成部分为卷...
2018-11-27 12:42:27
14316
5
原创 深度学习 --- 卷积神经网络CNN（LeNet-5网络详解）
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈型的神经网络，其在大型图像处理方面有出色的表现，目前已经被大范围使用到图像分类、定位等领域中。相比于其他神经网络结构，卷积神经网络需要的参数相对较少，使的其能够广泛应用。本节打算先介绍背景和简单的基本概念术语，然后详细介绍LeNet-5网络，其工作流程大家需要先搞清楚，学习原理其实是基于BP学习原理的，只...
2018-11-26 11:43:31
236427
78
原创 深度学习 --- 径向基神经网络RBF详解
上一节我们基本上打开了深度学习的大门，其实下一步应该是卷积神经网络即CNN了，但是呢卷积神经网络的最后一层采用的是径向基神经网络，为了以后到CNN不用再费力气将RBF和保持CNN的整体性和连贯性，因此这里我们系统的学习一下，讲解之前我们还是先好好回顾我们的总体学习思路，首先我们从BP神经网络开始，介绍了BP的优缺点和改良思路，后面就开始介绍Hopfield神经网络，该网络是从动力能量角度进行建模的...
2018-11-25 12:45:50
101156
21
原创 深度学习 --- 基于RBM的深度置信网络DBN-DNN详解
上一节我们详细的讲解了受限玻尔兹曼机RBM的原理，详细阐述了该网络的快速学习原理以及算法过程，不懂受限玻尔兹曼机的建议先好好理解上一节的内容，本节主要讲解的是使用RBM组成深层神经网络的深度置信网络DBN（Deep Belief Network），但是该网络效果并没有那么理想，hinton在此基础上加入反向传播算法即DNN，使的效果要比DBN好太多了。为什么会有这么好的效果呢？通过前面几节受限玻尔...
2018-11-24 12:40:03
7698
9
原创 深度学习 --- 受限玻尔兹曼机详解(RBM)
本节终于来到了重头戏受限玻尔兹曼机，为了能深入理解本节，我们深入讲了很多基础知识，这些基础知识很重要，是理解本节的基础，同时也是你学习其他算法的基础如强化学习、自然语言处理等。本节的安排是先对比一下受限玻尔兹曼机和玻尔兹曼机的区别，然后使用形式化语言讲一下学习过程和使用过程，最后 我们在逐一展开详细讲解，本节需要大家有点数学和概率论的基础当然矩阵知识也是需要一点的，这里的快速学习算法是CD（对比散...
2018-11-23 12:38:20
62190
27
原创 深度学习 --- 受限玻尔兹曼机RBM(MCMC接受率详解）
上节我们提到了，MCMC的接受率问题，在<LDA数学八卦>中作者直接给出了接受率的问题，没讲明原因，感觉很突兀，我彻底搞明白了，只是这个体系比较庞大，说来话长，需要和前面讲过的内容串在一起，大家还记得玻尔兹曼分布和玻尔兹曼机吗，需要从这里出发，从能量角度去理解这个接受率才能理解其精髓，但是如果深入讲的话又和前面的冲突，所以这里，本人现占个坑，看看有多少人想知道这个知识点的，我觉得凡是能...
2018-11-23 08:52:18
1690
3
原创 深度学习 --- 受限玻尔兹曼机RBM（MCMC和Gibbs采样）
上一节我们详细的讲解了马尔科夫过程和马尔科夫链，提及了转移矩阵P，马尔科夫的平稳性（遍历性），需要好好理解马尔科夫的平稳性，因为本节将根据马尔科夫的平稳性进行讲解，同时也介绍了采样的原理和过程。好，到这里呢，我们在回顾一下我们的最初的目的是什么，我们的最初的目的是解决玻尔兹曼机的计算复杂的问题，为了解决这个问题就需要引入Gibbs采样，而想要理解Gibbs采样就需要知道马尔科夫链，还要知道MCMC...
2018-11-22 10:34:28
4068
1
原创 深度学习 --- 受限玻尔兹曼机RBM（直接采样、接受-拒绝采样、重要性采样详解）
在讲解MCMC和Gibbs采样之前，大家需要理解统计学中的采样，什么是采样？为什么要采样？采样有什么用？大家需要深入理解采样的原理，深入理解的好处不仅容易理解下面的MCMC和Gibbs采样，也更容易掌握统计学中的一种重要的统计手段，这个技术在现代统计学中很重要，因此掌握它以后在遇到采样也不用怕了，因为一旦深入理解了，无非是更好的采样方法吧了，其本质不会变，我在刚学的时候，就被这些搞得云里雾里，这次...
2018-11-21 10:38:15
3810
6
原创 深度学习 --- 受限玻尔兹曼机RBM（马尔科夫过程、马尔科夫链）
上一节我们详细的探讨了玻尔兹曼机，玻尔兹曼机的发明是为了解决Hopfield神经网络的伪吸引子的问题，因此把退火算法、玻尔兹曼分布和Hopfield神经网络结合在一起形成了玻尔兹曼机（随机神经网络）。通过前面几节我们知道玻尔兹曼机可以很好的解决Hopfield神经网络的伪吸引子的问题，但是带来的另外一个大问题就是计算量太大了，训练周期长，因此Hinton和Sejnowski于198...
2018-11-20 11:46:20
4453
2
原创 深度学习 --- 随机神经网络详解（玻尔兹曼机学习算法、运行算法）
BM网络的学习算法(1) 学习过程 通过有导师学习，BM网络可以对训练集中各模式的概率分布进行模拟，从而实现联想记忆．学习的目的是通过调整网络权值使训练集中的模式在网络状态中以相同的概率再现．学习过程可分为两个阶段；第一阶段称为正向学习阶段或输入期，即向网络输入一对输人输出模式，将网络输人输出节点的状态“钳制”到期望的状态，而让隐节点自由活动，以捕捉模式对之间的对应规律；第...
2018-11-19 10:34:25
5485
4
原创 深度学习 --- 随机神经网络详解（玻尔兹曼机详解）
前两节我们详细讨论了退火算法和玻尔兹曼分布，本节将使用这两个算法和Hopfield神经网络结合构成新的神经网络即随机神经网络又叫玻尔兹曼机，这个神经网络是模拟能量的特性，从能量角度出发，构造和能量过程类似的神经网络，之所以这样构建和Hopfield神经网络有很大的关系，稍后我们会看到和Hopfield神经网络的异同点。另外这个神经网络不具有实用性，因为计算量太大了，但是我们为什么还要...
2018-11-18 12:44:16
20948
13
原创 深度学习 --- 玻尔兹曼分布详解
上一节我们从Hopfield神经网络存在伪吸引子的问题出发，为了解决伪吸引子带来的问题，详细介绍了模拟退火算法，本节也是基础性的讲解，为了解决伪吸引子还需要引入另外一个重要概念即：玻尔兹曼分布。本篇将详解玻尔兹曼分布，但是还是先说说为什么要引入玻尔兹曼分布，因为为了解决Hopfield神经网络的伪吸引子的问题，引入模拟退火算法和玻尔兹曼分布，下一节将在Hopfield神经网络中加入这两个算法，组合...
2018-11-17 12:08:47
27896
1
原创 深度学习 --- 模拟退火算法详解（Simulated Annealing， SA）
上一节我们深入探讨了，Hopfield神经网络的性质，介绍了吸引子和其他的一些性质，而且引出了伪吸引子，因为伪吸引子的存在导致Hopfield神经网络正确率下降，因此本节致力于解决伪吸引子的存在。在讲解方法之前我们需要再次理解一些什么是伪吸引子，他到底是如何产生的？简单来说说就是网络动态转移过程，状态掉进了局部最优解里了，就是能量函数没有达到最低，只是掉进了局部能量最低的状态，这和我们梯度容易...
2018-11-16 11:46:37
180979
19
原创 深度学习 --- Hopfield神经网络详解（吸引子的性质、网络的权值的设计、网络的信息存储容量）
上一节我们详细的讲解了Hopfield神经网络的工作过程，引出了吸引子的概念，简单来说，吸引子就是Hopfield神经网络稳定时其中一个状态，不懂的请看 Hopfield神经网络详解，下面我们就开始看看吸引子有什么性质：1.吸引子的性质 性质1：若是网络的一个吸引子，且阈值，在处，，则也一定是该网络的吸引子。 证明： 因为是吸引子，即,从而有：...
2018-11-15 11:25:24
15846
7
原创 深度学习 --- Hopfield神经网络详解
前面几节我们详细探讨了BP神经网络，基本上很全面深入的探讨了BP，BP属于前馈式类型，但是和BP同一时期的另外一个神经网络也很重要，那就是Hopfield神经网络，他是反馈式类型。这个网络比BP出现的还早一点，他的学习规则是基于灌输式学习，即网络的权值不是通过训练出来的，而是按照一定规则计算出来的， Hopfield神经网络就是采用了这种学习方式，其权值一旦确定就不在改变，而网络中各...
2018-11-14 11:15:31
68826
12
原创 深度学习 --- BP算法详解（BP算法的优化）
上一节我们详细分析了BP网络的权值调整空间的特点，深入分析了权值空间存在的两个问题即平坦区和局部最优值，也详细探讨了出现的原因，本节将根据上一节分析的原因进行改进BP算法，本节先对BP存在的缺点进行全面的总结，然后给出解决方法和思路，好，下面正式开始本节的内容：BP算法可以完成非线性问题，因此具有很大的优势，但是也存在很大的问题，下面我们就来总结一下： （1）易形成...
2018-11-13 12:13:51
27269
2
原创 深度学习 --- BP算法详解（流程图、BP主要功能、BP算法的局限性）
上一节我们详细推倒了BP算法的来龙去脉，请把原理一定要搞懂，不懂的请好好理解BP算法详解，我们下面就直接把上一节推导出的权值调整公式拿过来，然后给出程序流程图，该流程图是严格按照上一节的权值更新过程写出的，因此称为标准的BP算法，标准的BP算法中，每输入一个样本，都要回传误差并调整权值，这种对每个样本轮回训练权值的调整方法称为单样本训练，下面先给出权值调整公式，然后给出流程图：程序流程图 ...
2018-11-12 12:22:37
95968
6
原创 深度学习 --- BP算法详解（误差反向传播算法）
本节开始深度学习的第一个算法BP算法，本打算第一个算法为单层感知器，但是感觉太简单了，不懂得找本书看看就会了，这里简要的介绍一下单层感知器：图中可以看到，单层感知器很简单，其实本质上他就是线性分类器，和机器学习中的多元线性回归的表达式差不多，因此它具有多元线性回归的优点和缺点。单层感知器只能对线性问题具有很好的解决能力，但是非线性问题就无法解决了，但是多层感知器却可以解决非线性问题，多层感...
2018-11-11 13:37:42
62881
27
原创 深度学习 --- 神经网络的学习原理（学习规则）
从今天开始进入深度学习领域，深度学习我在前两年的理论学习过程中，体会颇深，其中主要有两个算法CNN和RNN，但是本人喜欢追本溯源，喜欢刨根问题。最重要的是每个算法并不是拍脑袋想出来的，是根据当时的研究进程和研究环境有关，因此想要深入理解深度学习的精髓，我们需要去了解，深度学习因为什么被提出来的，解决了什么问题，为什么能解决问题以及这个算法和机器学习有什么本质的区别等等。想要回答这些问题，就...
2018-11-10 13:33:45
24789
3
原创 阶段性总结、反思、计划
机器学习目前就告一段落了，但并不是结束了，还有很多知识都没讲，如PCA、LDA、梯度提升、聚类中的更复杂的聚类方法等都没有讲，这些知识我打算做项目遇到后再详细的介绍，效果可能会更好，另外就是已经讲的都是基础的东西，同时也是很深入的知识，基本上每个算法我都深入挖掘了。这些知识将为我下面的深度学习打下基础。 如果真有人看到，我还是先给大家说说学习理论的难点，然后再说...
2018-11-07 16:07:52
1574
1
原创 机器学习--聚类分析（划分方法，层次方法、密度方法）
本节学习聚类分析，聚类属于无监督学习，其中聚类的方法有很多种常见的有K-means、层次聚类（Hierarchical clustering）、谱聚类（Spectral Clustering）等，在这里，上来不会直接介绍这些理论，需要一些基础知识铺垫，和前面一样，一上来就直接介绍聚类算法，显得太突兀，会简单介绍几种，然后重点介绍如何使用这些算法。在知乎看到这个图，挺好的：我们也按照这个...
2018-11-06 15:34:14
31920
原创 机器学习--详解CART树剪枝原理和过程
这一节主要讲前面多次的提到的决策树问题，前面的决策树生成算法递归的产生决策树，直到不能继续分支或者达到要求为止，这样的决策树往往对训练数据的分类很准确，因为他就是基于训练数据的熵或者基尼不存度进行分类的，因此对训练数据的会产生过拟合现象，而对未知的数据则没有那么准确。过拟合的本质原因是决策树在训练时追求如何提高训练数据的准确度，而没有考虑构件出的决策树的复杂性，直观上我们能想象出当决...
2018-11-04 17:13:56
9715
13
原创 机器学习--线性回归5（岭回归、LAR算法实现LASSO算法实战）
岭回归算法：岭回归原理不懂的，请先搞懂岭回归的原理在实现，只看代码不懂原理和不学差不多，不懂的请看什么是岭回归，下面直接给出岭回归的优化公式：经过化简以后的目标公式为： 原始的最小二乘法的无偏估计优化目标公式为： 岭估计（有偏估计）的优化目标公式： ...
2018-11-02 14:56:12
1935
原创 机器学习--线性回归4（线性拟合、局部线性拟合实战）
前面三节，我们从最简单的一元线性回归到多元线性回归，讨论了，损失函数到底由那几部分组成（这点我觉很重要，因为它不仅仅存在线性回归中还存在其他机器学习中，因此有必要搞明白他，有兴趣的请看这篇文章），后面详细讨论了多元线性回归，主要介绍了多元线性回归的共线性问题，为了解决共线性问题引出了岭回归，然而岭回归存在缺点，因此又引出了lasso算法，此算法是解决共线性和选择特征很有效的方法（不懂的请看这篇文章...
2018-11-01 12:05:38
11974
2
编译DCNv2网络：error: command 'C:\\Program Files\\NVIDIAGPUComputingToolkit\\CUDA\\v1
2020-11-20
Xshell 5 Build 1339 + Xftp 5 Build 1235
2020-10-21
c#联合halcon开发实战教程.txt
2020-02-12
3D视觉、点云、三维重建.txt
2020-02-10
机器视觉光源介绍和镜头介绍.rar
2020-02-10
Halcon实战视频教程，超人视觉，初级和高级版视频，无密码高清
2020-02-09
很完整的发明专利申请文件完整版模板.rar
2019-11-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人