深度学习之---从线性分类到人工神经网络

主要内容

背景介绍

• 深度学习应用

神经网络

• 起源
• 基本结构

神奇的分类能力以及背后的原理

• 感知器与逻辑门
• 强大的空间非线性切分能力
• 网络表达力与过拟合问题
• BP算法与SGD

代码与示例

• Tensorflow多层感知器非线性切分
• 神经网络分类（非线性）示例
• CIFAR-10多层感知器切分

---

深度学习与应用

图像上的应用 12年之前是分水岭，之后使用了CNN。

NLP上的应用 模仿出来作家的文笔 RNN写代码 LSTM

综合应用

一点基础：线性分类器

1、线性分类器得分函数 

CIFAR-10：一共有10个类别，几千张图片的分类任务

给你一张图片，然后得出每个类别的分数是多少，结果是一个得分向量score-vector

我们把[32,32,3]的图片看成x，线性分类器就是给出权重W，得到10个得分

简单一点，我们把32*32*3的矩阵拉成一个3072*1的向量，最后我们想得到10维的得分向量，那么我们的权重W就得是10*3072的矩阵，相乘后得到10*1的向量

f是一个函数，它所做的事情非常简单，就是就输入矩阵映射成为得分向量，决定这个得分函数的就是W，我们希望得到最合适的一组W。

 

识别图像---其实就是分类问题

3：RGB

给你一张图片，也就是一个矩阵，让你完成一个任务，识别图像中的内容找出分类，一共有10个类别几千张图片

把你输入的矩阵x，通过f，映射为一个得分向量

把图像做一个reshape，将其拉成一个一维3072*1的向量。

为了得到一个10*1的矩阵（向量），要配给W一个10*3072，所以10*3072 与 3072*1 相乘，得到一个10*1的列向量，就认为是一个10维的得分向量

实例：

我们输入一个图像，拉伸后成为1维，为了方便，简单为4*1的向量，得分向量为3个分类，3*1,于是我们的W就要是一个3*4的矩阵，线性分类器嘛，有偏置项b(wile增加灵活性)，最后我们得到y=W*x+b的线性函数（得分函数,y就是得分向量）。