机器学习（六）——l1，l2 正则化以及Elastic-Net

1. Ridge Regression

上图的公式 +后面是惩罚项，用来保证泛化能力的；+ 前面是我们的损失函数，用来保证我们的拟合效果的，而α是一个参数，用来让你决定更看重正确性还是泛化性，|| | |这个代表加和，即w0+w1+…
对于泛化性和正确性的评估：
当我们有数据时，把它分为两部分，训练集和测试集，一般训练集比较多
正确性：通过模型对训练集里的数据求一下正确性，看拟合程度怎么样
泛化性：通过模型对测试集里的数据来看正确性怎么样，

代码实现1：
官网：https://scikit-learn.org/stable/modules/linear_model.html#ridge-regression

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.linear_model import SGDRegressor

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

ridge_reg = Ridge(alpha=1, solver='auto')
ridge_reg.fit(X, y)
# 预测
print(ridge_reg.predict([[1.5]]))
# 截距
print(ridge_reg