吴恩达logistic回归笔记

1.决策边界不是训练集的属性，而是假设本身及其参数的属性，只有给的了参数向量，决策边界就确定了。我们不是用训练集来定义决策边界的，而是用训练集来拟合决策边界，一旦有了确定的参数，就有了确定的决策边界。

2.线性回归的代价函数

逻辑回归的代价函数 （逻辑回归用于解决分类问题，即0-1分类）


h(θ)为预测值，当预测值h(θ)与真实值y不一致时，比如：h(θ)=1，但y=0，则损失函数会趋于无穷大，如下图

通过梯度下降优化参数

对J(θ)求导，到的的公式和线性梯度下降算法保持一致
线性回归梯度下降函数：

逻辑回归梯度下降函数：

3. 对于一对多的分类问题，可以看做N个二分类问题，对每个类构造N个分类器，输入x后，从这N个分类器的结果中选择概率值最高的的作为最后的预测结果

4 通过向代价函数中引入正则化来解决欠拟合，过拟合的问题
对于过拟合，主要有两种解决方法：（1）删除一些相关程度不是太高的特征
（2）含有所有特征量的情况下，降低θj值，当θj值趋于0时，可以得到等同于方法（1）的效果
在采取方法（2）的情况下，我们应修改我们的代价函数如下

引入正则化项后，每次迭代时θj都会乘以一个比1小的数，比如θj*0.99，以此来迭代缩小θj的值，实现方法（2）