深度学习|吴恩达深度学习笔记（第一周 深度学习引言）

由于项目相关原因，需要了解相关深度学习的知识，使用深度学习进行图像标记，我目前学习的教材是吴恩达的深度学习配套B站上搬运的网课，这个教材也是公认的非常经典。通过跟着教材来开这个新坑hhh。

1.引言

AI power

AI 是一个最新的电力，改变了我们的各个行业例如交通运输、制造业、医疗保健、通信等。AI各个分支当中，发展最迅速的就是深度学。
主要内容有：如何建立神经网络，深度学习实践（调参，高级优化算法等），结构化机器学习工程，搭建卷积神经网络，序列模型NPL。

2.什么是神经网络

深度学习这个术语来指训练神经网络的过程。
波士顿房价的例子：
问题一：根据房屋面积预测房价的函数
输入：房屋的面积->输出：房价

问题二：根据房屋面积，卧室数量，富裕程度，邮政编码多种数据预测房价的函数。

基于房屋面积和卧室数量，可以估算家庭人口，基于邮编，可以估测步行化程度或者学校的质量…这所有的一些决定人们愿意花多少钱。
中间层通过 输入层在的特征获得自身的输入。可以看到输入层和中间层是紧密相连的。
神经网络的神奇之处在于实现之后只用输入X就可以到Y，非常擅长计算精准映射函数。

3.神经网络的监督学习

神经网络分为很多类别，现在常用的能创造价值的本质上都离不开叫监督学习的机器学习类别。
举例：

• 1.广告投放，通过在网站上输入广告相关消息，也输入了用户信息，网站就会考虑是否向你投放广告，尽可能投放会打开的广告。
• 2.计算机视觉，通过特征选择图片。
• 3.语音转换文字，机器翻译。
• 4.自动驾驶，输入一幅图像，信息雷达展示汽车前面有什么，告诉汽车在马路上的具体位置。

深度学习通过智能的选择，哪些作为X，哪些作为Y，针对当前的问题，拟合监督学习部分。

• 对于图像应用，经常在神经网络上用卷积（Convolutional Netural Network）；
• 对于序列数据（录音）常用RNN（Recurrent Nerual Network）递归神经网络。

数据可以分为结构化和非结构化数据。结构化数据是基本的数据库，非结构化数据是指音频，图像等等。对于计算机来说，非结构化数据理解起来很难，但对人来说是比较擅长解读的。神经网络的兴起使得计算机比较好理解非结构化数据。
神经网络改变了监督学习，创造了巨大的经济价值。

4.为什么深度学习会兴起

推动深度学习变得如此热门的因素主要有：数据规模、算法的创新。
数字化社会的来临，物联网领域等收集到越来越多的数据，深度学习的增长就是有赖于数据规模增长，数据规模越大，愈能体现深度学习的优势。为了使神经网络有一个更好的性能，要么训练更大的神经网络，要么投入更多的数据。
近几年来，算法创新，eg.Sigmoid函数转换到ReLU函数，可以使得梯度下降的算法运行更快。通过算法的改进，使得代码运行更快。