机器学习算法基础---逻辑回归

1. 逻辑回归与线性回归的联系与区别
   第一条：回归模型就是预测一个连续变量(如降水量，价格等)。在分类问题中，预测属于某类的概率，可以看成回归问题。这可以说是使用回归算法的分类方法。
   第二条：直接使用线性回归的输出作为概率是有问题的，因为其值有可能小于0或者大于1,这是不符合实际情况的，逻辑回归的输出正是[0,1]区间。线性回归只能预测连续的值，分类算法是输出0和1.
   第三条：线性回归中使用的是最小化平方误差损失函数，对偏离真实值越远的数据惩罚越严重；逻辑回归使用对数似然函数进行参数估计，使用交叉熵作为损失函数，对预测错误的惩罚是随着输出的增大，逐渐逼近一个常数

2. 逻辑回归的原理
   逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。
   第一步：构建预测函数
   
   
   函数h(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：
   P(y=1│x;θ)=h_θ (x)
   P(y=0│x;θ)=1-h_θ (x)
   第二步 ：构建损失函数
   基