博主简介
博主是一名大二学生,主攻人工智能研究。感谢让我们在CSDN相遇,博主致力于在这里分享关于人工智能,c++,Python,爬虫等方面知识的分享。 如果有需要的小伙伴可以关注博主,博主会继续更新的,如果有错误之处,大家可以指正。
专栏简介: 本专栏主要研究计算机视觉,涉及算法,案例实践,网络模型等知识。包括一些常用的数据处理算法,也会介绍很多的Python第三方库。如果需要,点击这里订阅专栏 。
给大家分享一个我很喜欢的一句话:“每天多努力一点,不为别的,只为日后,能够多一些选择,选择舒心的日子,选择自己喜欢的人!”
目录
深度学习基础
第一章的时候我就介绍过深度学习,深度学习就是人工神经网络的升级:深度神经网络。顾名思义就是将原来的单层或几层的神经网络,变成十几层甚至上百层的网络。说的简单点就是模拟人类的大脑。
这个就是神经网络的一个剖面图,但是往往不会如此简单,如:
和大脑处理信息一样,构成神经网络的是由神经元构成,无数个神经元构成神经网络,就可以完成复杂的处理。所以神经网络的主旨就是:化繁为简,化整为零。
深度神经网络的发展迅猛的原因其实有很多,但主要的原因是:一、使用了正向传播、反向传播算法。二、使用非线性激活函数。三、使用了Dropout正则化方法。四、硬件升级使得运算速度大大增加。
正向传播、反向传播算法
在开始介绍深度学习前,先介绍一下梯度下降法。电脑不能像人一样可以逐步逐步求解,所以对于很复杂的函数,会很耗时间,就可以将函数无限缩小,这样就显得很简单。所以使用梯度下降,函数就可以很快的下降。
其中α表示学习率,α越大,函数下降越快,但是α如果过大,函数就无法下降到最小值。所以α的确定非常重要。
对于深度学习,前向传播非常简单,假设每一层函数为,那么输出为:
输出=
对于深度学习,普通的梯度下降法会出现问题,那就是参数过多,一般一个深度神经网络有几千万甚至上亿的参数,如果对每个参数同时进行更新,计算量则太大。我们可以每次只更新一层的参数,然后将结果传回去。这就是反向传播。
非线性激活函数
早先的神经网络,人们没有使用激活函数,由于网络时线性的,只能解决线性问题,不能解决XOR之类的问题。所以需要使用非线性激活函数。非线性激活是指在函数的每一层之后,是输出通过一个非线性函数,之后输入下一层。
有了非线性激活函数,才使得深度神经网络可以拟合任意种类的函数,而无需对函数及逆行任何的先验假设,这使得深度学习脱颖而出。
Dropout正则化方法
深度学习有一个小问题,就是当模型层数过深的时候,会出现过拟合。深度学习中提出了一种新的方法:Dropout。这种方法非常有意思,在训练的时候,会随机的选择神经元进行激活,只有激活的神经元才能参与正向传播与反向求导。在测试的时候,则以神经元参数x激活概率作为神经元的值。
可能很多人会困惑为什么Dropout就能避免过拟合。举个简单的例子,我们再分辨一个人的时候,是需要做基因检测嘛?不需要,只需要看他的身形,或者眼镜,鼻子,发型等特征,也就是只需要很少的特征就可以了,不需要很多的特征。对于机器也是,如果要识别一个物体,假设有100个特征点,只需要其中的几个或者10个就可以了,不足要太多,一旦全部检测,可能就会出现过拟合。
左边的是正常网络,右边的是Dropout后的网络。是不是显得简单。那么运算速度就更快了。
GPU加速运算
人们都知道,现在中国在芯片方面被卡脖子,组成芯片的其中一部分就是CPU,人们都知道CPU很重要 ,但是GPU也是很重要的。GPU的控制结构非常简单,只有很简单的控制逻辑单元,那可能有人说了,CPU那么强大,为什么不用。如果说让你写一份100万份的论文,那么你是选择一个教授还是100个学生,那肯定是100个学生,很快就能做完。对于神经网络这种计算量大,但是结构简单的问题,不需要CPU,用GPU就可以搞定了。简单点,杀鸡焉用牛刀!
现在很多公司都在研究TPU,运算速度会更快,相信到时候深度学习会更加的火。
好了,今天的内容就到此结束了!下一节正式进入深度学习。拜拜了你嘞!