sk-learn学习笔记

1.线性回归

1.1数据生成

使用随机数据作训练集时，可人为加入噪声：

y_train = (true_fun(X_train) + np.random.randn(n_samples) * 0.05).reshape(n_samples,1)

1.2定义模型

from sklearn.linear_model import LinearRegression # 导入线性回归模型
model = LinearRegression() # 定义模型
model.fit(X_train[:,np.newaxis], y_train) # 训练模型
print("输出参数w：",model.coef_) # 输出模型参数w
print("输出参数b：",model.intercept_) # 输出参数b

由于线性回归较为简单，参数较少，故可直接使用，然后训练得到拟合后的参数。

1.3模型测试与比较

X_test = np.linspace(0, 1, 100)
plt.plot(X_test, model.predict(X_test[:, np.newaxis]), label="Model")
plt.plot(X_test, true_fun(X_test), label="True function")
plt.scatter(X_train,y_train) # 画出训练集的点
plt.legend(loc="best")
plt.show()

先生成测试数据，通过图像可视化结果看算法预测与实际结果的差距。

2.多项式回归

tips:

多项式回归的一般思路：将m次多项式方程转化为m线性回归方程，然后使用线性回归的方法求出相应的参数。 算法实现时同理，将多项式特征分析器和线性回归串联，算出线性回归的参数之后倒推即可。

pipeline串联用法：

参考帖：https://blog.csdn.net/u010230273/article/details/98493025

3.逻辑回归学习心得：

这一部分主要使用逻辑回归做了二分类任务并在minist数据集上进行了训练和测试，期间使用了transformer进行图像信息的转换，用优化器最小化损失函数。

教程中使用了二阶优化算法中的拟牛顿法，其中牛顿法与梯度下降法的效率对比参考了：

https://www.cnblogs.com/maybe2030/p/4751804.html

 

sk-learn教程参考链接：https://github.com/datawhalechina/machine-learning-toy-code