吴恩达笔记——神经网络基础:Logistic回归
上一节讲到二分类问题:
二分类问题的目标是训练出一个分类器,这个分类器可以使用图片特征向量x作为输入,预测输出的结果标签y,y=1?还是y=0?
Logistic回归:
- 一种用于监督学习问题中的“学习算法”,它的输出是0或者1,也是一个二分类问题;
- **Given:**一张图片输入,对应的 输入向量:x;
- **What:**为了实现识别目标(图片中是猫?或者不是猫?),我们需要一个算法(函数),这个算法在有图片输入时,可以给出 预测值:y(hat);
算法构造:
尝试方法: 构造 y(hat) = wTx+b (输入x的线性函数)模型, 算法的参数:w;偏置:b;
不足: 这种方法不能很好的实现二元分类,因为我们希望y(hat)的结果是一个概率,所以对于y(hat)我们希望的取值范围为(0-1),而这个算法的结果并不在这个区间。
弥补不足: 在wTx+b上使用sigmoid函数,令z=wTx+b,将y(hat)转换到(0-1)范围内。
///
sigmoid函数概念:
当z趋近于正无穷的时候,e-z就接近于0,sigmoid(z)接近于1;
当z趋近于负无穷的时候,e-z就接近于正无穷,sigmoid(z)接近于0;
总结一下:
前面的描述的是Logistic回归模型的概要构造过程,对于初学者,可能有些迷糊,这里做一个大白话的总结。
Logistic回归算法是给定了特定的一个sigmoid函数模型 :y(hat) = sigmoid(wTx+b)。
其中w是权重,b是偏置,这两个参数都是未知的。
为了获取符合分类目的的函数模型(比如,这里为了分类是猫,不是猫),我们需要有监督的学习获取w和b。
1)含有标签的训练集;
2)将训练集输入Logistic回归算法模型,通过学习获取y(hat)函数的相关参数 w和b,使得算法模型在有图片输入时能够得到分类结果。(如何训练,需要定义一个成本函数,参看下一节)