目录
什么是神经网络
以房屋价格为例,输入房屋尺寸,经过神经元,输出价格。这是一个单神经元。
【神经元节点先计算线性函数(z = Wx + b),再计算激活。】
ReLU函数:修正线性单元,是一种人工神经网络中常用的激活函数(activation function),修正指取不小于0的值
一个复杂的神经网络:将如上的独立简单神经元叠加起来
神经网络的一部分神奇之处在于,当你实现它之后,你要做的只是输入,就能得到输出。因为它可以自己计算你训练集中样本的数目以及所有的中间过程。
上图中,x1~x4是输入层,第2层为隐藏单元,在一个神经网络中,它们每个都从输入的四个特征获得自身输入,输入层和中间层被紧密的连接起来了。
用神经网络进行监督学习
到目前几乎所有由神经网络创造的经济价值,本质上都离不开一种叫做监督学习的机器学习方法。需要机智的选择x和y,才能解决特定问题。
图像领域中,经常应用的是卷积神经网络CNN;对于序列数据,如音频是一维时间序列,通常使用RNN,一种循环神经网络;语言最自然的表示方式也是序列数据,可以用更复杂的RNNs。
下图分别是标准神经网络、CNN、RNN的结构。卷积网络通常用于图像;RNN非常适合这种一维序列,其中包含时间成分。
机器学习也应用于结构化数据和非结构化数据。
结构化数据:数据的数据库,如放假预测中的房屋大小、卧室数目,每个特征都有清晰的定义
非结构化数据:如音频、图像、文本,这里的特征就可能是图像的像素值和文本中的单词。从历史经验看,非结构化数据更难让计算机理解。
神经网络彻底改变了监督学习。多亏了深度学习和神经网络,计算机现在能更好地解释非结构化数据。
为什么深度学习会兴起
数据规模巨大:需要训练大规模NN才能提高性能
算法的改进:增加了计算速度,使代码运行更快,可以更快训练大规模神经网络
例如激活函数:将Sigmod函数换成ReLU函数,梯度下降法运行得更快