深度学习笔记1之认识神经网络

第一课

week1

什么是神经网络

输入X，就可得到Y，无需知道过程，中间过程由神经网络自己负责。

week2

二元分类 (Binary Classification)

逻辑回归是一个用于二分类(binary classification)的算法


X矩阵中列向量是特征向量，是图片所有像素变成一列。X一共是nxm

结果Y是一行，1xm

X 是一个n维的向量（相当于有 n 个特征的特征向量）。我们用来 w 表示逻辑回归的参数，这也是一个 n 维向量（因为 w 实际上是特征权重，维度与特征向量相同），参数里面还有 b ，这是一个实数（表示偏差）。按理说y的值需要再0,1直接，所以加入sigmoid函数，将线性函数转换为非线性函数。

loss function：
loss是标签和输出的误差，要尽可能小。来衡量单个样本的表现
在逻辑回归中梯度下降不适，使用以下loss
y=1时，是y^ 越大越好，但y^ 是 0,1之间，所以让y^ 接近1最好
y=0时，y^接近0最好.

cost function：

代价函数来衡量全体样本的表现，代价函数是参数的总代价，所以在训练逻辑回归模型时候，我们需要找到合适的 w和 b ，来让代价函数 J 的总代价降到最低

梯度下降

函数J是凸函数，要求得它最小时候的$w$和$b$。通常会初始化$w$和$b$，用0或者随机值。
梯度下降就是超坡度最陡的方向进行下一步，学习率就是下降的速度。

导数是斜率，。如果$w$在右方，导数为正，那么学习率X导数为正，$w$