1、线性回归
1.1、线性回归的概念
预测y是一个连续的值
单变量:
多变量:
1.2、损失 / 代价 函数
1.3、最小化损失函数
1.4、梯度下降
梯度下降是求函数最小值的算法,通常使用梯度下降算法来求出代价函数 J(x1,x2)的最小值
梯度下降背后的思想是:开始时我们随机选择一个参数的组合(x1,x2,……,xn),计算代价函数,然后寻找下一个能让代价函数值下降最多的参数组合,知道找到一个局部最小值(并不能确定为是否是全局最小值,因为没有尝试完所有的参数组合)。
当下降速度逐渐趋于平缓时,可设置临界条件,推出算法。
1.5、回归与欠/过拟合
x次数越高,拟合的越好,但相应的预测能力就越差。
解决办法:
- 丢弃一些不能帮助我们正确预测的特在,可以手工选择保留哪些特征,或使用一些模型选择的算法(如PCA)。
- 正则化,(保留所有特征,但减少参数的大小)。
1.6、回归与正则化(解决过拟合)
2、逻辑回归(分类算法)
预测y是一个离散的值(分类问题)
sigmoid函数的作用是:对于给定的输入变量,根据选择的参数计算出输出变量=1的可能性(也叫概率)。
2.1、判定边界
逻辑回归就算赵判定边界
2.2、代价函数
2.3、二分类与多分类
二分类可以使用逻辑回归,将数据集分为正类和负类。
多分类,依旧可以使用二分类的思想,将三角形设为正类,则其余数据可以设为负类,创建新的“伪”数据集,通过逻辑回归得到一个边界。然后选择另一个特征为正类,重复上述步骤。