深度学习
TianShan_1995
人工智能,机器学习,机器视觉,大数据优化。
展开
-
20201010_受限玻尔兹曼机_观看覃秉丰课程笔记
一、马尔可夫性状态转移的概率只依赖于当前的这个状态,将来只依赖于现在不依赖于过去的过程,我们成为马尔可夫过程。时间和状态都是离散的马尔可夫过程称为马尔可夫链例如:...原创 2020-10-10 22:33:46 · 258 阅读 · 0 评论 -
20201010_玻尔兹曼机_观看覃秉丰课程笔记
视频录制于2017年一、玻尔兹曼机理解起来要复杂一些,比BP网络,卷积神经网络,残差神经网络,LSTM递归神经网络等理解起来还要难一些。尽管玻尔兹曼机复杂但是还是很重要的,在2016年一片深度学习奠基性的论文用到了受限的玻尔兹曼机。这片论文堪称开辟了深度学习这个研究放向,可见玻尔兹曼机还是很重要的。二、BP网络比玻尔兹曼机的使用范围要广泛一些。三、退火是一种金属的热处理工艺,将金属加热到一定的温度,保持足够时间,然后以适宜速度慢慢冷却。退伙可以改善材料性能,提升金属品质。玻尔兹曼机会涉及到模拟退原创 2020-10-10 22:19:05 · 191 阅读 · 0 评论 -
20201010_Hopfield神经网络入门_hopfield代码实践_观看覃秉丰课程笔记
视频录制于2017年一、从单层感知器出发一条分支得到BP神经网络(出现了隐藏层),另一条重要分支是hopfield神经网络。二、hopfield神经网络引用了物理理学的分析方法,把网络作为一种动态系统并研究这种网络动态系统的稳定性。三、hopfield神经网络的结构上图这种网络,每一个神经元的输出不会反馈给自己(没有自反馈),但是会反馈给除了自身的其它所有的神经元。四、参考《人工神经网络理论、设计及应用》的120页吸引子,伪吸引子如果收敛到伪吸引子就不会跳出来了,于是出现了模原创 2020-10-10 19:52:53 · 611 阅读 · 0 评论 -
20201010_过拟合以及神经网络小工具_观看覃秉丰课程笔记
视频录制于2017年一、拟合的三种状态欠拟合:拟合的程度还不够,不能达到很好的输出效果,没有很好的实现预期的结果。过拟合:百分之百通过了所有的数据,但是这条曲线比较歪歪扭扭,为了根据训练数据得到比较好的曲线,但是形状可能会比较奇怪,当我们把新的数据带进来之后效果并不会很好。过拟合就是拟合出了一条非常奇怪,非常复杂的一条曲线,虽然说对样本完成了百分百的拟合,但是并不一定新的数据进来做到比较好的输出。这样的拟合虽然把训练数据分的特别好,但是不一定反映了真实的情况。再来新的样本点的时候不.原创 2020-10-10 15:02:58 · 185 阅读 · 0 评论 -
20201010_深入理解BP神经网络_论文讲解_观看覃丰乘课程笔记
视屏录制于2016年底(12月份)一、题目:understanding the difficulty of training deep feedforward neural networks(理解深度前馈神经网络训练的难点)二、截取片段(1) Our objective here is to understand better why standrad gradient decent from random initialization is doing so poorly with deep原创 2020-10-10 12:15:22 · 480 阅读 · 0 评论 -
20201009_进军多层_BP神经网络介绍(代码实践2)_观看覃秉丰课程笔记
一、用到sklearn的数据集二、在训练时,比如说有10000个数据,一般会把这10000个数据分为100组,每组有100个数据,这样的话一个批次有100个数据,我们分成了100个批次,每个批次训练100个数据,这样可以提高训练速度,但是也不会影响训练的准确性。三、归一化输入数据的归一化,x = (x-x.min)/x.max 这个公式把输入的x转化成0到1的数字。原因:加入x非常大,权值和x相乘就会很大,把这个很大的数字送到激活函数里,输出就会无限趋近于0或者1(以sigmoid激活函数为原创 2020-10-09 23:16:41 · 206 阅读 · 0 评论 -
20201009_BP神经网络介绍(代码实践1)_观看覃秉丰课程笔记
一、BP神经网络解决异或问题参考人工神经网络理论、设计及应用 50页二、完整的python代码,用BP网络实现解决异或问题# coding: utf-8# 微信公众号:深度学习与神经网络 # Github:https://github.com/Qinbf # 优酷频道:http://i.youku.com/sdxxqbf # In[5]:import numpy as np# In[8]:#输入数据X = np.array([[1,0,0],...原创 2020-10-09 22:30:34 · 269 阅读 · 0 评论 -
20201009_深度学习入门_进军多层_BP神经网络的介绍_观看覃秉丰课程笔记
课程视频录制于2017年一、BP(Back Propagation) 神经网络 误差反向传播二、正是BP算法才把网络的维数提高到了多层三、高层特征不会像浅层特征一样特别明显,比如手写体识别,在浅层时手写的1,2,3...还能看的出来轮廓,到了高层提取的特征就看不出来是个什么了,但是这些特征计算机可以识别。深度学习可以自动的提取图片上的特征,这些特征人不见得理解,但是计算机是根据这些特征识别的物体四、激活函数有很多种sigmoid激活函数,在BP神经网络早期用的比较多。负.原创 2020-10-09 15:06:55 · 243 阅读 · 0 评论 -
20201008_线性神经网络解决异或问题_观看覃秉丰课程笔记
一、输入不能仅仅是x1和x2,而是,也就是引入了非线性的输入二、根据输出和输出激活函数(此时训练的输出激活函数是线性函数而不是sign函数)计算出输出三、完整python的代码# coding: utf-8# 微信公众号:深度学习与神经网络 # Github:https://github.com/Qinbf # 优酷频道:http://i.youku.com/sdxxqbf # In[6]:import numpy as npimport matplotlib原创 2020-10-08 23:14:02 · 207 阅读 · 0 评论 -
20201008_深度学习_线性神经网络_delta学习规则_梯度下降法_覃秉丰课程笔记
一、经过试验单层感知器不能解决异或问题或者更复杂的问题二、delta学习规则是一种利用梯度下降法的一般性的学习规则三、训练模型的目的是使代价函数的值最小四、梯度下降法 一维情况&二维情况五、梯度下降法的问题六、通过动态改变学习率的方法改善一维的情况,一开始的时候设置较大的学习率,在接近最优解的时候减小学习率七、解决局部最优解的问题比较复杂,待解决八、可以用线性神经网络来解决异或问题...原创 2020-10-08 22:17:01 · 399 阅读 · 0 评论