【22李宏毅机器学习】第一节 深度学习简介——额外学习

pecerptron：感知机

其实深度学习很简单 ，只需要三步骤：

第一步：定义一个函数也就是 Neural Network（神经网络）

应该怎么将每个Neuron 怎么连接：
有各种连接方式，基本都是手动设置，最常见的为Fully Connect Feedforward Network


Deep = Many hidden layers 但是多少可以被称为Deep，各说纷纭
神经网络是通过矩阵来操作的
矩阵运算GPU运算更快
老师这里举了一个例子：识别一个数字的手写，效果的好坏，对应不同的function set，Neuron和layer的数量多少才是最合适的？
一些问题：

上图第一个问题：
deep learning 在语音辨识领域似乎效果不错，但是在NLP中进步相较于传统的方法没有那么多进步。
第二个问题：
能否自动定义函数的结构，答案是可以，但是目前应用并不多
第三个问题：
我们能够按照自己的想法把hidden layers中的不同neuron连接起来，有很多种方法，其中马上要讲到的就是CNN（卷积神经网络）

第二步：定义一个function的好坏

也就是Loss函数的定义，以下李老师使用了交叉熵定义了Loss函数

第三步：也就是找一个function 能够使Loss函数值最小

，方法：梯度下降

反向传播：一个有效的方式来算微分