P7选修 深度学习介绍

7. 第 1 讲（选修）：深度学习介绍_哔哩哔哩_bilibili

 

 Pytorch 中训练 DNN 的概述，首先是 Define Neural Network、Loss Function、Optimizer，这三步用到了 torch.nn 和 torch.optim 模块。加载数据主要用到 torch.utils.data.Dataset 和 torch.utils.data.DataLoader 模块。反复进行训练和验证，最后得到模型进行测试
 

 

 手动设计

  Layer1 的所有输出都与 Layer2 的所有输入连接，所以叫全连接。
Layer1 的输出给 Layer2，Layer2 的输出给 Layer3，所以叫前馈网络。

 

 

 

 

神经网络中的矩阵运算

神经网络的计算可以用矩阵操作来表示，如下图是一个计算例子。

 

 一个深度神经网络可以表示成一个函数，它的函数表达式如图所示。写成矩阵运算的好处是可以用 GPU 加速，普通的 GPU 只是做矩阵运算比较快（相比 CPU）。

 可以使用GPU加速 ，矩阵运算

 

 手写体识别例子

 清晰度16*16，输入是236维，涂黑的地方是1，没有涂黑的地方就是0，output中每一个y是代表每一个输出数字的概率。

 

 

 自己设计layer

每个neual如何设计

 

  

 文字处理 正面情绪负面情绪  

深度学习长久来看，具有一定的优势，只是一下子看起来没有那么显著。

它跟传统方法比起来的差异就没有那么惊人，但是还是有进步的。

能不能自动学level structure?其实是可以的，在经验算法中是可以这样的训，可以自动地找出Networks Stucture。不过还没有普及，比如阿法狗没有用这种方法。

能不能自己去设计network Structure?可不可以不要fully connected？可不可以layer1中地第一个连接到layer2中地第三个（可不可以乱写）？

可以，一个特殊的解法就是Convolutional Neural Network(CNN),

 二、goodness of function

我们已经完成了第一步Neural Network，下面我们进行第二步goodness of function，即定义一个function地好坏。

在neural network里面怎么决定一组参数它地好坏了？就假设给另一组参数

 

做手写数字图像辨识，有一张image,跟它地label，这张label告诉我们这是一个mortal class classsification地问题

所以label1告诉我们说 现在地target是一个10维vector，只有它在第一维对应到地数字1的地方，她的值是1，其他地方是0.

 那就input这张image的piexl:

 然后通过neuralwork后

得到一个output: 称之为y；

target称之为:

 接下来计算y和之间的cos值：

 接下来调整netural work参数，让Cross Entropy越小越好。

当然整个training data里面不会只有一笔data，有大堆的data。

 第一笔data计算出，

第二笔计算出.;

第三笔计算出;

一直到第n笔：

 最后将所有的cross  entropy值计算求和：

 然后就是接下来在function set里面找一个function：它可以minimizes total loss L

 或者是找一组network parameter:将它写成：它可以minimize total loss L

怎么解这个问题呢？怎么找一个minimize total loss L

 引用的方法就是Gradient Descent

在deep learing中用gradient design和linear regression那边什么都没有差别。

中一大堆参数w1,w2,……b1,……，首先给定初始值0.2，-0.1，……，0.3，……；然后计算偏微分；

 将偏微分集合起来叫grady：

 有了这些偏微分，就可以更新参数：

 所有的参数减去learing rate：在图中写的是。然后偏微分乘以它得到一个新的参数，然后计算它的gradient：

 然后再根据gradient再更新参数

 然后按照这个计算下去就会得到一组好的参数，就做完network training了。

 

 为什么要deep learning?

 越deep越低

 任何一个N维的Netural都可以用一个hidden layer的neural network来表示，只要这个hidden layer的内容足够多，它就可以表示成任何fuction；