深度学习WED P1-P24

共183个视频，每天看6个，用时一个月（2.27-3.29）

一、如何建立神经网络以及如何在数据上训练他们——识别

二、严密构建神经网络——超参数调整、正则化、诊断偏差方差、高级优化算法

三、结构化机器学习工程——分割数据集的方式

四、构建卷积神网络CNN

五、序列模型-序列数据比如：自然语言处理，包括循环神经网络RNN、LSTM

m-训练集的规模、训练样本的数量

算法改进影响迭代速度

一、

1.神经网络的编程基础

2.神经网络中正向传播和反向传播的结构、算法结构、高效实现神经网络、编程练习

3.编写单隐层神经网络

4.建立多层深层神经网络

p7 二分分类

神经网络的计算过程分为前向传播和反向传播

logistic回归是一个用于二分分类的算法

符号

(x,y):表示一个单独的样本，x是nx维的特征向量，y的值为0或1

训练集由m个训练样本构成

X矩阵由x1、x2组成，有m列，nx行；Y矩阵由y1、y2组成，有1行，m列；

X.shape是一条Python命令，用来输出矩阵的维度，即（nx,m）和（1,m）

P8 logistic回归

logistic是一个学习算法，用在监督学习问题中输出标签是0或1时，是一个二元分类问题，已知输入的特征向量x可能是一张图，你希望识别出这是不是猫图，你需要一个算法可以给出一个预测值，预测y，当输入特征x满足条件时y就是1。已知Logistic回归的参数是w也是一个nx维向量，b就是一个实数，已知输入x和参数w和参数b，如何计算出预测y？

在logistic回归中，我们的输出变成y=sigmoid函数作用到这个量上

P9 logistic回归损失函数

损失函数（误差函数）用于衡量算法预测单个训练样本输出值y^和y的实际值有多接近：通过改变参数w，b的值最小化损失函数。 

成本函数衡量算法在全体训练样本上的表现 J越小越好：

 

 P10梯度下降法

梯度下降法用于训练学习训练集上的参数w和b，从初始点开始朝最陡的下坡方向走一步，在梯度下降后，也许在那里停下，因为他沿着最快下降的方向向下走（根据该点导数方向），这是梯度下降的一次迭代，经过几次迭代有可能收敛到这个全局最优解， 

 

P11导数  

df(x)/dx,直线情况下，任意点的斜率相等且等于导数

P12 更多导数的例子

曲线情况下导数的含义

P13计算图

一个神经网络的计算都是按照前向或反向传播过程来实现的，首先计算出神经网络的输出，接着进行一个反向传输的操作，后者用来计算出对应的梯度或者导数；

流程图是从左到右的计算

P14使用计算图求导

链式法则：dJ/da=(dJ/dv)*(dv/da) 从右向左求导

dvar表示导数 

   P15 logistic回归中的梯度下降法

怎样计算偏导数实现logistic回归中的梯度下降法，导数流程图计算梯度得到参数可改变的步长

 P16 m个样本的梯度下降

计算每个训练样本的导数并加起来求平均数，得到全局成本函数，应用一步梯度下降获得参数更新，重复以上步骤。计算中的两个缺点，编程中有了两个for循环，深度学习算法中用显式for循环会使算法低效。用向量化摆脱for循环。

P17 向量化

目的是消除代码中显式for循环语句， z=np.dot(w,x)+b计算(w转置*x+b)

P18 向量化的更多例子

np.log(v)会逐个计算log;  np.Abs会计算绝对值； np.maximum(v,0)计算所有元素中和0相比最大值；尽量用内置函数不用for

P19 向量化logistic回归

把m个样本放到X矩阵中，构建：

  P20 向量化logistic回归的梯度输出

向量化同时计算m个训练数据的梯度   

 

实现logistic回归的梯度下降一次迭代： 

若要多次迭代需要for循环，暂时没有方式可以去掉

 21 Python中的广播

广播是一种手段让Python代码执行得更快

计算四种食物中来自碳水化合物、蛋白质和脂肪的热量百分比各占多少，不用for循环实现：

 

 如何让一个3*4的矩阵除以1*4的矩阵

如果你有一个m*n矩阵，然后加上或者减去、乘以或者除以一个1*n矩阵或m*1矩阵，python会把他复制n次变成m*n矩阵，然后再逐元素做加减乘除

更多参考NumPy文档broadcasting

2*3的矩阵+1*3的矩阵：会把1*3的矩阵复制扩展成2*3的矩阵

P22 关于python_numpy向量的说明

消除python和numpy代码bug的技巧：

 

不用秩为1或者形状是（5，）或（n,）的数组：

 P23 Jupyter_ipython笔记本的快速指南

  coursera中的ipython笔记本，运行时断网内核宕机要重启内核。

P24 logistic损失函数的解释

logistic回归函数的表达式