第二周：神经网络的编程基础

目录

​​​​​​2.1 二分类

2.2 逻辑回归

2.3 逻辑回归的损失函数

2.4 梯度下降法

 2.9 逻辑回归中的梯度下降（Logistic Regression Gradient Descent）

 2.11 向量化 

2.13 向量化逻辑回归

2.14 向量化 logistic 回归的梯度输出

2.15 numpy中的广播

2.16 关于 python_numpy

PS：作业笔记-numpy函数

---

​​​​​​2.1 二分类

一些定义：

二分类：输出0/1

逻辑回归：一个用于二分类的算法

符号：

M train/test：训练集/测试集的样本数 

补充知识：

1.特征向量的本质

2.2 逻辑回归

逻辑回归的假设函数sigmoid：

 机器学习目标：得到w&b使得y-hat尽可能接近1

2.3 逻辑回归的损失函数

损失函数：用来衡量预测输出值和实际值有多接近，损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何

逻辑回归的损失函数：

有，2种情况下都是cost越小越好 (且y=1，而y-hat=0时cost=+∞有最大惩罚力度)

算法的损失函数J： 全部训练样本上的表现如何，对m个样本的损失函数求平均数，求w&b使J最小

2.4 梯度下降法

补充知识：方向导数与梯度

方向导数——某向量方向切线的斜率

梯度=<偏导，偏导...>，梯度方向方向导数最大，即沿梯度方向下降最快

原理：沿梯度方向下降，在多次迭代中尽可能接近使J最小的点

 2.9 逻辑回归中的梯度下降（Logistic Regression Gradient Descent）

 2.11 向量化 

【补充知识】

1.矩阵乘法的累加表示：

同型矩阵加法: 同型矩阵相加=同型矩阵

2. numpy.dot() 向量点积&矩阵乘法

2.13 向量化逻辑回归

Z= wX+b :

Z=（z1，z2，z3.....zm）—sigmoid— a=（a1，a2.....am）

2.14 向量化 logistic 回归的梯度输出

2.15 numpy中的广播

numpy的广播机制：numpy 对不同形状(shape)的数组进行数值计算的一种方式

通俗的理解：将两个数组的维度大小右对齐，然后比较对应维度上的数值，如果数值相等或其中有一个为1或者为空，则能进行广播运算，并且输出的维度大小为取数值大的数值。否则不能进行数组运算。

2.16 关于 python_numpy

断言语句(assertion statement)

PS：作业笔记-numpy函数

1.np.exp(x)，求以e为底的x次方

2. x.shape返回（a，b，c）

    x.reshape(row, col)

3. np.linalg.norm(x, ord, axis, keepdims)

     x--矩阵输入

    ord--范数类型，ord=2(默认)时，求维数上向量长度

    axis--维度，二维（=0按列，=1按行）

    keepdims--是否保持原来的维数，对axis进行指定轴操作会使矩阵降维，使用keepdims=True会使消失的轴保留，并保持维度为1

补充：数组的维度&数组按维度求和np.sum(x, axis)

4.np.sum，np.dot，np.multiply，np.maximum