机器学习-回归

线性回归：
 1.模型函数和损失函数。表达式有代数形式和矩阵形式
 2.线性回归的算法-求损失函数最小化时候的θ参数
  2.1.梯度下降法
   2.1.1.批量梯度下降法（BGD）
   2.1.2.随机梯度下降法（SGD）
   2.1.3.小批量梯度下降法（MBGD）
  2.2.最小二乘法
  2.3.牛顿法（newton-cg）与拟牛顿法（lbfgs）
 3.线性回归的正则化
  3.1.L2正则化-岭回归
  3.2.L1正则化-Lasso回归
   3.2.1.坐标轴下降法求解Lasso回归
   3.2.2.最小角回归法求解Lasso回归
    3.2.2.1.前向选择算法
    3.2.2.2.前向梯度算法
    3.3.3.2.最小角回归算法
  3.3.L1和L2混合正则化-弹性网络
 4.局部加权回归


逻辑回归：
 1.二元逻辑回归的模型
 2.二元逻辑回归的损失函数
 3.损失函数的优化方法
  3.1.梯度下降法
  3.2.坐标轴下降法（liblinear）
  3.3.牛顿法（newton-cg）与拟牛顿法（lbfgs）
 4.二元逻辑回归的正则化
  4.1.L1正则化损失函数的优化方法常用的有坐标轴下降法和最小角回归法。
  4.2.L2正则化损失函数的优化方法和普通的逻辑回归类似。
 5.二元逻辑回归的推广：多元逻辑回归
  5.1.One-vs-Reset（OvR）

  5.2.Many-vs-Many(MvM)

Scikit-learn 线性回归算法库：

1.LinearRegression
2. Ridge
3. RidgeCV
4. Lasso
5. LassoCV
6. LassoLars
7. LassoLarsCV
8. LassoLarsIC
9. ElasticNet
10. ElasticNetCV
11. OrthogonalMatchingPursuit
12. OrthogonalMatchingPursuitCV
13. MultiTaskLasso
14.  MultiTaskLassoCV
15.  MultiTaskElasticNet
16.  MultiTaskElasticNetCV
17. BayesianRidge
18. ARDRegression

  

逻辑回归算法库：
1.LogisticRegression
2.LogisticRegressionCV