机器学习（七）- logistic regression

logistic regression

对于逻辑回归，就是运用已知的数据集（training set）去拟合一组$\theta$，等同于在空间中拟合出一条曲线，不过这条曲线不同于线性回归，这条曲线是用于空间划分，对于二分类，就是用曲线将平面划分成两个区域，那么对于这两个不同的区域${\theta }^{T}x$对应于大于等于0和小于0，随后再代入$g(z)$即sigmoid函数的时候，就对应于大于等于0.5和小于0.5，这个时候联系概率就将对应区域等同于$y=1$和$y=0$，当然和线性回归一样，是建立在我们已经完成特征选取和模型假设之后，我们所用模型为：
$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
具体步骤其实就是迭代下面两个方程：
第一个是参数更新方程
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
第二个是代价函数
$$J(\theta )=-\frac{1}{m}(\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))$$
化成矩阵形式就是：
$$\begin{array}{rl}\theta :& =\theta -\alpha \frac{1}{m}{X}^T(g(X\theta )-y)\\ J(\theta )& =-\frac{1}{m}(y^T\log g(X\theta )+(1-y^T)\log (1-g(X\theta )))\end{array}$$

matlab 代码实现：

J = - 1/m * (y' * log(sigmoid(X * theta)) + ...
    (1-y') * log(1 - sigmoid(X * theta)));
grad = theta - alpha * 1/m * (X' * (sigmoid(X * theta) - y));

---