深度学习
TianShan_1995
人工智能,机器学习,机器视觉,大数据优化。
展开
-
20201010_受限玻尔兹曼机_观看覃秉丰课程笔记
一、马尔可夫性 状态转移的概率只依赖于当前的这个状态,将来只依赖于现在不依赖于过去的过程,我们成为马尔可夫过程。 时间和状态都是离散的马尔可夫过程称为马尔可夫链 例如: ...原创 2020-10-10 22:33:46 · 231 阅读 · 0 评论 -
20201010_玻尔兹曼机_观看覃秉丰课程笔记
视频录制于2017年 一、玻尔兹曼机理解起来要复杂一些,比BP网络,卷积神经网络,残差神经网络,LSTM递归神经网络等理解起来还要难一些。尽管玻尔兹曼机复杂但是还是很重要的,在2016年一片深度学习奠基性的论文用到了受限的玻尔兹曼机。这片论文堪称开辟了深度学习这个研究放向,可见玻尔兹曼机还是很重要的。 二、BP网络比玻尔兹曼机的使用范围要广泛一些。 三、退火是一种金属的热处理工艺,将金属加热到一定的温度,保持足够时间,然后以适宜速度慢慢冷却。退伙可以改善材料性能,提升金属品质。玻尔兹曼机会涉及到模拟退原创 2020-10-10 22:19:05 · 165 阅读 · 0 评论 -
20201010_Hopfield神经网络入门_hopfield代码实践_观看覃秉丰课程笔记
视频录制于2017年 一、从单层感知器出发一条分支得到BP神经网络(出现了隐藏层),另一条重要分支是hopfield神经网络。 二、hopfield神经网络引用了物理理学的分析方法,把网络作为一种动态系统并研究这种网络动态系统的稳定性。 三、hopfield神经网络的结构 上图这种网络,每一个神经元的输出不会反馈给自己(没有自反馈),但是会反馈给除了自身的其它所有的神经元。 四、参考《人工神经网络理论、设计及应用》的120页 吸引子,伪吸引子 如果收敛到伪吸引子就不会跳出来了,于是出现了模原创 2020-10-10 19:52:53 · 578 阅读 · 0 评论 -
20201010_过拟合以及神经网络小工具_观看覃秉丰课程笔记
视频录制于2017年 一、拟合的三种状态 欠拟合:拟合的程度还不够,不能达到很好的输出效果,没有很好的实现预期的结果。 过拟合:百分之百通过了所有的数据,但是这条曲线比较歪歪扭扭,为了根据训练数据得到比较好的曲线,但是形状可能会比较奇怪,当我们把新的数据带进来之后效果并不会很好。过拟合就是拟合出了一条非常奇怪,非常复杂的一条曲线,虽然说对样本完成了百分百的拟合,但是并不一定新的数据进来做到比较好的输出。这样的拟合虽然把训练数据分的特别好,但是不一定反映了真实的情况。再来新的样本点的时候不.原创 2020-10-10 15:02:58 · 154 阅读 · 0 评论 -
20201010_深入理解BP神经网络_论文讲解_观看覃丰乘课程笔记
视屏录制于2016年底(12月份) 一、题目:understanding the difficulty of training deep feedforward neural networks(理解深度前馈神经网络训练的难点) 二、截取片段 (1) Our objective here is to understand better why standrad gradient decent from random initialization is doing so poorly with deep原创 2020-10-10 12:15:22 · 426 阅读 · 0 评论 -
20201009_进军多层_BP神经网络介绍(代码实践2)_观看覃秉丰课程笔记
一、用到sklearn的数据集 二、在训练时,比如说有10000个数据,一般会把这10000个数据分为100组,每组有100个数据,这样的话一个批次有100个数据,我们分成了100个批次,每个批次训练100个数据,这样可以提高训练速度,但是也不会影响训练的准确性。 三、归一化 输入数据的归一化,x = (x-x.min)/x.max 这个公式把输入的x转化成0到1的数字。 原因:加入x非常大,权值和x相乘就会很大,把这个很大的数字送到激活函数里,输出就会无限趋近于0或者1(以sigmoid激活函数为原创 2020-10-09 23:16:41 · 169 阅读 · 0 评论 -
20201009_BP神经网络介绍(代码实践1)_观看覃秉丰课程笔记
一、BP神经网络解决异或问题 参考人工神经网络理论、设计及应用 50页 二、完整的python代码,用BP网络实现解决异或问题 # coding: utf-8 # 微信公众号:深度学习与神经网络 # Github:https://github.com/Qinbf # 优酷频道:http://i.youku.com/sdxxqbf # In[5]: import numpy as np # In[8]: #输入数据 X = np.array([[1,0,0],...原创 2020-10-09 22:30:34 · 254 阅读 · 0 评论 -
20201009_深度学习入门_进军多层_BP神经网络的介绍_观看覃秉丰课程笔记
课程视频录制于2017年 一、BP(Back Propagation) 神经网络 误差反向传播 二、正是BP算法才把网络的维数提高到了多层 三、高层特征不会像浅层特征一样特别明显,比如手写体识别,在浅层时手写的1,2,3...还能看的出来轮廓,到了高层提取的特征就看不出来是个什么了,但是这些特征计算机可以识别。深度学习可以自动的提取图片上的特征,这些特征人不见得理解,但是计算机是根据这些特征识别的物体 四、激活函数有很多种 sigmoid激活函数,在BP神经网络早期用的比较多。负.原创 2020-10-09 15:06:55 · 199 阅读 · 0 评论 -
20201008_线性神经网络解决异或问题_观看覃秉丰课程笔记
一、输入不能仅仅是x1和x2,而是,也就是引入了非线性的输入 二、根据输出和输出激活函数(此时训练的输出激活函数是线性函数而不是sign函数)计算出输出 三、完整python的代码 # coding: utf-8 # 微信公众号:深度学习与神经网络 # Github:https://github.com/Qinbf # 优酷频道:http://i.youku.com/sdxxqbf # In[6]: import numpy as np import matplotlib原创 2020-10-08 23:14:02 · 193 阅读 · 0 评论 -
20201008_深度学习_线性神经网络_delta学习规则_梯度下降法_覃秉丰课程笔记
一、经过试验单层感知器不能解决异或问题或者更复杂的问题 二、delta学习规则是一种利用梯度下降法的一般性的学习规则 三、训练模型的目的是使代价函数的值最小 四、梯度下降法 一维情况&二维情况 五、梯度下降法的问题 六、通过动态改变学习率的方法改善一维的情况,一开始的时候设置较大的学习率,在接近最优解的时候减小学习率 七、解决局部最优解的问题比较复杂,待解决 八、可以用线性神经网络来解决异或问题 ...原创 2020-10-08 22:17:01 · 373 阅读 · 0 评论