线性回归与逻辑回归（一）——数学原理

1、线性回归

1.1、线性回归的概念

	预测y是一个连续的值

单变量：

多变量：

1.2、损失 / 代价 函数

1.3、最小化损失函数

1.4、梯度下降

	梯度下降是求函数最小值的算法，通常使用梯度下降算法来求出代价函数 J(x1,x2)的最小值
	梯度下降背后的思想是：开始时我们随机选择一个参数的组合（x1,x2,……，xn），计算代价函数，然后寻找下一个能让代价函数值下降最多的参数组合，知道找到一个局部最小值（并不能确定为是否是全局最小值，因为没有尝试完所有的参数组合）。
	当下降速度逐渐趋于平缓时，可设置临界条件，推出算法。

1.5、回归与欠/过拟合

x次数越高，拟合的越好，但相应的预测能力就越差。
解决办法：

1. 丢弃一些不能帮助我们正确预测的特在，可以手工选择保留哪些特征，或使用一些模型选择的算法（如PCA）。
2. 正则化，（保留所有特征，但减少参数的大小）。
   

1.6、回归与正则化（解决过拟合）

2、逻辑回归（分类算法）

	预测y是一个离散的值（分类问题）

sigmoid函数的作用是：对于给定的输入变量，根据选择的参数计算出输出变量=1的可能性（也叫概率）。

2.1、判定边界

逻辑回归就算赵判定边界

2.2、代价函数

2.3、二分类与多分类

二分类可以使用逻辑回归，将数据集分为正类和负类。
多分类，依旧可以使用二分类的思想，将三角形设为正类，则其余数据可以设为负类，创建新的“伪”数据集，通过逻辑回归得到一个边界。然后选择另一个特征为正类，重复上述步骤。