神经网络和深度学习第一周 深度学习概论

1.2什么是神经网络
这一个神经元完成了函数的拟合：

reLU：rectified linear unit修正线性单元：开始是0，然后上升，修正就是取不小于0的值。
将神经元堆叠可以得到更大的神经网络：

只要给足够的x和y，神经网络自动计算隐藏单元，我们只需要给出输入x和输出y:

神经网络在监督学习中非常强大

1.3 用神经网络进行监督学习
神经网络在监督学习的应用： （要机智地选择x和y)

standard neural network：Standard NN 前两个
convolutional neural network：CNN 卷积神经网络 第三个图像领域
recurrent neural network：RNN循环神经网络处理一维数据序列 第四个音频处理 涉及一维时间序列 第五个语言处理是更复杂的序列
hybrid neural network：混合神经网络 最后一个

结构化数据是数据的数据库，非结构化数据是指比如音频，原始音频，图像，文本等，这里的特征可能是图像中的像素值或者文本中的单个单词，多亏了神经网络深度学习，现在计算机也可以更好的理解非结构数据，如语音识别图像识别自然语言处理：

1.4 为什么深度学习会兴起
神经网络深度学习的技术有了几十年了，为什么现在才火起来呢？因为我们现在拥有海量数据，规模足够大的神经网络可以发挥更高的性能：(横坐标是labeled data的数量m,即训练样本的数量) 数据规模小时算法表现不太确定，主要取决于手工设计组件等，只有在大数据领域，神经网络稳定领先其他算法

除了数据量和计算量的提升，近几年算法也有巨大的创新。有趣的是很多创新都是为了让神经网络运行得更快