C1_W1
1. 欢迎
以下是我们这门课会学到的内容:
1.了解神经网络和深度学习的基础,学习如何建立神经网络,深度神经网路以及如何用数据训练它,最后建一个深度神经网络去识别猫咪
(有谁不喜欢小猫咪呢)
事实上,深度学习和有很多关于猫和狗识别的课题,有兴趣的话可以了解一下:
2.进行深度学习方面的实践,学习严密地构建神经网络,如何真正地让他表现良好,学习超参数的调整,正则化,如何诊断偏差和方差,以及一些高级优化算法。
3.如何构建属于自己的机器学习工程,将数据转化为训练集,开发集和测试集的做法,研究目前最好的训练方式,解决训练集和测试集来自不同分布该怎么处理,end to end 深度学习
4.卷积神经网络(CNN)
5.学习应用序列模型(RNN LSTM模型),将他运用于自然语言处理和其他问题
亲爱的初学者们,是不是很多名词都看不懂,感觉非常的恐惧(害怕.jpg)。是的,我也看不懂,所以一起跟着老师好好学习接下来的知识吧。(疲倦.jpg)
2. 什么是神经网络
深度学习一般是指训练神经网络,那什么叫做神经网络?
老师提出了这样的例子:
我们将这个节点称为一个神经网络中的一个神经元 (这个神经元就会执行将房子大小转化为房价的方程)
事实上这是一个非常非常小的神经网络,而一个很大的神经网络是很多个这样的单一神经网络叠加得到的。
于是老师又举了这样的一个例子:
其中最左边的四个量就是我们输入的x1,x2,x3,x4(特征),即为输入层,中间的部分我们称它为连接层,如果某一连接层的每一个结点与上层的所有结点相连,我们称这个连接层为全连接层,房价为y,即为输出层。
神经网络最重要的一点就是,只要我们给定训练集足够多的例子,神经网络可以通过输入的 x (1,2,3,4)和对应输出的 y 将中间的部分(函数映射关系)给很好的拟定出来
(woc???)
而监督学习,就是需要把输入的部分和输出的部分给很好的对应起来(我蹩脚的理解)
这里老师介绍了一个RELU函数 (名字听起来非常的高端)
其实即为数学中的斜坡函数
f(x)= max(0,x),这样是不是看起来就亲切的多了(接下来的课程中会介绍这个函数的很多变种)
3. 用神经网络进行深度学习
首先老师举了很多关于监督学习可以创造的(经济)价值:
输入(x) | 输出 (y) | 应用方面 |
---|---|---|
房屋特征 | 房屋售价 | 房地产销售业 |
用户在网站上输入的信息 | 你最有可能点击的广告 | 网络广告 |
图像 | 图片索引 | 标记照片类别 |
语音 | 文本 | 机器翻译 |
车辆前方信息的图像,雷达扫描信息 | 路面上其他汽车的位置信息 | 自动驾驶 |
预测房价和在线广告中运用的往往都是相对标准的神经网络结构。
图像应用中国常常将卷积结构放在神经网络结构当中(CNN)。
音频是时序组成的数据,所以往往用一维时间序列或者一维时序序列来表达音频的数据结构,同时语言也能够表现为序列化数据,而在这些序列化数据中常常用到循环神经网络(RNN)。
三种神经网络结构的图像表达:
接下来老师介绍了结构化数据(Structured Date)和非结构化数据(Unstructured Date)
事实上结构化数据,就是数据库。通过严格的二维表(就是表格)来存储和管理的数据(特征值)。(学过MySQL一下子就感觉见到亲人了www)
而非结构数据,就是类似于音频,文本或图像这类的数据,没有预定义的数据模型,不方便用数据库二维逻辑表来表现。这里的特征也许就是图片的像素值或文本的独立单词。
神经网络变革了监督学习的方式,同时使的计算机能够更好地去解释非结构化数据。
4. 深度学习兴起的原因和意义
这节课的字幕出现了很大的问题·····我总结一下就是这么几点:
1.纵轴代表学习的效果,横轴代表训练集的大小。
2.红线代表传统的学习方法,随着现代社会的逐渐信息化,传统学习方法的效果在逐渐弱化。
3.黄线,蓝线,绿线分别代表了小型神经网络,中型神经网络和大型神经网络,区分他们的是不同的算法,和细节上的差异。
4.我们可以优秀的算法来建立神经网络,做到依靠较小的训练集,达到和较大训练集但是使用传统学习方法一样甚至更好的效果,这就是建立神经网络的意义。
5.我们可以通过改进我们的算法提高我们的运算速度。
老师举的某个例子:
这里提到了关于梯度和激活性的知识点(听不太懂TAT)
有兴趣的话可以了解一下: Sigmoid和Relu激活函数的对比
深度学习的研究过程:
4. 课程资源
后面那个专访对深度学习很有兴趣或者想要去训练英语听力地可以选择去听一下(我听了一会儿,实在是脑壳疼,主要是英语学的不怎么样www)