DAY1:神经网络基础和深度学习笔记整理

一、Binary Classfication

符号表示： 

   

二、logistic regression

 

其中w，b为待确定的参数，^y为y（training labels）=1的概率值，所以为了使其落在0~1之间，对y的结果作                     sigmoid处理

三、损失函数

损失函数：loss = -（lnlog^y+(1-y)lnlog(1-^y)）在单个训练样本上定义的，衡量在单个训练样本上的表现

成本函数：衡量在全体样本上参数w和b的表现（in logistic regression）

四、Gradient Descent

五、计算图

前向传播：

  反向传播：

       

logistic中的反向传播（求导）：

m个样本上的梯度下降法：

vectorization（向量化）：

vectorization can faster than for loop  about 300 times.And if there are other possibility ,don't use for loop.