机器学习笔记3：逻辑回归

机器学习笔记3：逻辑回归

Andrew Ng机器学习课程学习笔记3

---

逻辑回归就是分类问题，比如把邮件标示为垃圾邮件和正常邮件，判断肿瘤是良性的还是恶性的.

Sigmoid function
线性回归方程中，h_θ(x) 的取值ｙ是连续的，而逻辑回归中输出则是离散的。以两个类别为例，结果消极时ｙ的取值为0，结果积极时ｙ的取值为1。一般来说ｙ不可能小于0，也不会大于1。为了适应这种特点，逻辑回归的方程是在线性回归方程h_θ(x)的基础上增加了一个阈值函数Sigmoid function，将变量映射到0,1之间。
Sigmoid function，也可以说是Logistic function，其表达式为
$$g(z)=\frac{1}{1+e^{-z}}$$
在实数范围内时，其图像如下，是一个单调递增的S型函数。

回归方程：
$$h_{\theta }(x)=g({\theta }^{T}X)$$
$$g(z)=\frac{1}{1+e^{-z}}$$
由于g(z)是单调递增的，且g(0)=0.5。故θ^TX大于零时，回归方程的输出y=1, θ^TX小于零时，回归方程的输出y=0。预测y的取值（为0或1）等价于判断θ^TX与0之间的大小关系，θ^TX = 0 所代表的线就是Decision Boundary（决策边界）边界的一边是积极结果1，另一边是消极结果1。
另外，θ^TX = 0 可能是直线，也可能是曲线，这个取决于输入参数X的情况。

cost function：
　　对于线性回归而言，代价函数是$J(\theta )=$