吴恩达——深度学习笔记（1）

lucky_ttt

已于 2023-11-19 23:44:29 修改

阅读量80

点赞数

文章标签：深度学习笔记人工智能

于 2023-11-19 23:29:02 首次发布

本文链接：https://blog.csdn.net/lucky_ttt/article/details/134490904

版权

共五门课

1.Neural Networks and Deep Learning

2.Improving Deep Neural Networks:Hyperparameter tuning,Regularization and Oprimization

3.Structuring your Machine Learning project

4.Convolutional Neural Networks

5.Natural Language Processing:Building sequence models

前言

随着人工智能的不断发展，深度学习这门技术也越来越重要，很多人都开启了学习深度学习，本文就主要用于记录本人学习深度学习的笔记。

记录内容可能比较随意，请见谅。本次内容为第一堂课第一周部分。

一、深度学习是什么？

指的是训练神经网络，神经网络是机器学习的子集，并且是深度学习算法的核心。

神经网络只需要你提供足够多的关于x，y的数据或者是训练样本。

非常擅于计算从x到y的精准映射函数，在监督学习的环境下，只需要尝试输入一个x，即可把它映射成一个y。

一个简单的神经元就是一个函数。

1、监督学习

几乎所有有神经网络创造的经济价值都基于其中一种机器学习称之为“监督学习”。

在监督学习中输入x习得一个函数，映射到输出y。如房价预测例子中，输入房屋的一些特征x，就能输出或者预测房屋价格y。

神经网络其他例子
输入（x）	输出（y）	应用
Home features	Price	Real Estate	standard NNs
Ad，user info	Click and ad？	Online Advertising	standard NNs
Image	Object (1.....1000)	Photo tagging	CNNs
Audio	Text transcript	Speech recignition	RNNs（按序列）
English	Chinese	Machine translation	RNNs（按序列）
Image,Radar info	Position of others cars	Autonomous driving	更复杂的混合的神经网络结构

卷积神经网络（CNNs）：通常用于处理图像数据。

循环神经网络（RNNs）：非常适合处理一维序列数据其中包含时间成分。

机器学习被应用于结构化数据和非结构化数据。

结构化数据：是数据的数据库，如在房价预测中，你可能有一个数据库或者数据列用来告诉你房间大小和卧室数量。在预测用户是否会惦记广告的例子中，可能会用用户信息，还有广告信息，以及你要预测的标签y。这就是结构化数据，意味着，每个特征，都有着清晰的定义。

非结构化数据：音频，原始音频，图像，或者是你想要识别图像或文本中的内容，这里的特征，可能是图像中的像素值或者是文本中的单个单词。

非结构化数据和结构化数据相比较起来，让计算机更加难以理解，但是人类更加擅长理解音频信号和图像。

由于深度学习，由于神经网络，计算机现在能更好的解释非结构化数据，如语音识别，图像识别，自然语言文字处理。

神经网络在很多短期经济价值的创造是基于结构化数据的，如更好的广告系统，更好的获利建议，更好的能力去处理很多公司拥有的海量数据库。并用这些数据准确预测未来趋势。

2、深度学习的兴起

过去的20年，我们的社会中遇到很多问题，早期只有相对较少的数据量，现如今的数字化社会，使我们收集海量数据轻而易举,在电脑上，网站上，手机软件上，数字设备上的活动都能创造数据，也归功于廉价的相机，被内置在移动电话上，以及物联网中的各种传感器，我们收集到了越来越多的数据。因此，我问常说，规模一直在推动深度学习的进步。“规模”，不仅仅指的是神经网络的规模，更是值数据的规模。我们需要一个有许多隐藏单元的神经网络，有许多的参数，许多的连接。

事实上，要在神经网络上获得更好的表现，如今最可靠的手段，要么是训练一个更大的神经网络，要么就是投入更多的数据,但是这只能在一定程度上起作用，因为最终你耗尽了数据，或者最终你的网络规模太大，需要的训练时间太久。但是提升规模已经让我们在深度学习的世界中获得了大量进展。

如图，就训练集较小的一块来说，各种算法性能的相对排名差距并不是很确定，训练集较小的时候，性能由你手工设计的组件,来决定最终的表现。因此在这个图形区域的左边，各种算法之间的优劣定义的不是很明确，最终的性能，更多取决于手工设计组件的技能以及算法处理方面的一些细节，只有在大数据领域，在非常庞大的训练集上，我们才能见到，神经网络稳定的领先其他算法。

在深度学习崛起的初期，是数据和计算能力规模的进展，但是近几年，我们也见证了算法方面的极大创新，许多算法的创新都是为了让神经网络运行的更快。

例如图中，从sigmoid函数转换到ReLU函数，使用sigmoid函数时，机器学习的问题是左侧区域函数的斜率梯度接近于0，因此学习会变得非常缓慢，因为用梯度下降法时，参数变化会很慢，而通过改变激活函数，神经网络用这个修正线性单元ReLU，他的梯度对所有为正值的输入输出都是1，通过改变算法，使代码运行的更快，这也使我们能够训练规模更大的神经网络，或者在合理是时间内完成计算。