零基础入门深度学习六：深度学习基本概念

本文是对李宏毅教授课程的笔记加上自己的理解重新组织，如有错误，感谢指出。视频及 PPT 原教程：https://pan.baidu.com/s/1dAFnki 密码：5rsd

还没有看过前几篇机器学习理论的童鞋，推荐先把前几篇看完。这里接着上篇的 Logistic Regression 来讲。

Limitation of Logistic Regression

看这样一个二元分类问题，假设我们有四个数据。

y ≥ 0.5 相当于 z ≥ 0 ; y < 0.5 相等于 z < 0 ; 而 z 相当于一条直线。所以 LR 的任务就是找一条直线，把两组数据分到直线的两侧。

很明显，这是无法做到的。所以此时 LR 是无能为力的，我们怎么改进呢 ？

做 Feature transformation ，举个例子。我们把 x1 变成 x1 到  的距离

 x2 变成 x2 到  的距离

 这样就改变了原始数据的分布，我们就可以找到一条直线分隔 class1 和 class2 ，从而实现我们的分类任务。

我们可不可以用几个 LR 连接起来解决呢？

带进几个具体的数值看一下。

然后把每个数据代入，求出新的 x1 ,x2 如下：

是的，达到了我们的目标！

是的这就是深度学习！！！！每一个 LR 我们叫它 Neruron ( 神经元)。我们再看下它的结构

我们依旧举个例子吧，很简单，数字的识别吧。

当然，我们会先对它进行一些处理，去噪，二值化等，让他变成只有黑白两种颜色。这样对于每个像素点就只有两个取值了。

每个像素点，我们都当做一维，这样我们每个数据就是这样

Model

深度学习的 Model 不像之前可以有一个固定的式子，它中间的神经元可以随便连接，不同的连接就是一个新的 Model 。可以尝试不同的连接，从而找一个可以满足自己预期的模型。最常见的有下边一种Fully Connect Feedforward Network (前馈全连接神经网络) 。

二维的图

1 输入后到达第一个神经元会输出 0.98-1 输入后到达第一个神经元会输出 0.12我们的 S 形函数这里有了新的称谓，activation function ( 激励函数 )，当然它也可以不同S 形函数而换成别的函数，以后会讲到。

一般的形式：

输入 n 维的 x ，输出 m 维的 y ，每一维度代表属于该类的概率。所以输出之前一般做一次 Softmax 。Softmax 是啥子嘞？中文翻译过来叫归一化指数函数 ，很形象，把每个值取 e 的幂次，然后归一一下。假设我们有一个数组 V，Vi表示V中的第i个元素，那么这个元素的Softmax值就是

Goodness of Function

我们继续寻找它的 Loss Function ！

我们先看一个数据的 loss ，例如是识别数字 1 。

是的，我们把 Model 求出的 y 与  向上篇文章一样做 Cross Entropy ( ( 交叉熵 ) ，忘记的话可以再看一下上篇 。

有了一个数据的 loss ，我们要做的就是把所有数据的 loss 求和。

Best Function

我们得到了 Loss Function ，接下来就是求偏导，然后进行梯度下降。

是的你没有看错，高大上的深度学习依旧用的梯度下降，就算是 AlphaGo ，意不意外？惊不惊喜？

咦？偏导的公式为什么这次没给推导呀？你知道 L 长这个样子

可是你知道 y 写出是什么样子吗？

每经过一个神经元，其实就是矩阵相乘

我们的 y 函数就是这样

S 形函数一层套了一层，用笔去算偏导大概会疯掉。好在一些平台已经利用 Backpropagation ( 反向传播算法 ) 实现了梯度下降，我们直接去用就好了。

Backpropagation 以后我们再讲。

好了，上边就是深度学习 Deep learning 的基本理论了！！！！！！！！！！！！！！

应用

一图胜千言

谷歌中用到了深度学习技术的项目数目，现在是真的火呀！