ensemble learning - Task 2 (回归)

本文详细探讨了线性回归模型的最小二乘法,解释了如何通过求导找到使误差平方和最小的参数。同时,讨论了线性回归中最小二乘估计与极大似然估计的关系。此外,还分析了多项式回归在实际应用中可能面临的过拟合问题及其对预测稳定性的影响。最后,展示了如何实现线性回归模型的拟合。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

(1)详细阐述线性回归模型的最小二乘法(The method of least squares)表达

为了衡量真实值yi与线性回归模型的预测值wTxi之间的差距,用yiwTxi的平方和L(w)来描述这种差距,

L(w)=Ni=1(wTxiyi)2=(wTXTYT)(wTXTYT)T=wTXTXw2wTXTY+YYT

求使得L(w)最小时对应的参数w,即:

ˆw=argminL(w)

求导:
   L(w)w=2XTXw2XTY=0

ˆw=(XTX)1XTY

(2) 线性回归中极大似然估计和最小二乘估计的区别和联系

 线性回归的最小二乘估计 等价于 噪声ϵN(0,σ2)的极大似然估计

(3)为什么多项式回归在实际问题表现不佳

多项式回归若阶数过大容易在训练数据集上过拟合,在X的边界处有置信区间明显增大,预测效果的稳定性下降 

(7) 实现用线性回归模型拟合模型 

  1. from sklearn import datasets
  2. import numpy as np
  3. def hypothesis(X, theta):
  4. return np.dot(X, theta)
  5. def computeCost(X, y, theta):
  6. n = X.shape[0]
  7. y_pred = hypothesis(X, theta)
  8. return np.sum(np.square(y_pred - y.reshape(-1,1)))/(2*n)
  9. def gradientDescent(X,y,theta,alpha,epoch):
  10. cost = np.zeros(epoch)
  11. for i in range(epoch):
  12. y_pred = hypothesis(X, theta)
  13. #print(y_pred.shape, y.shape)
  14. residues = y_pred - y.reshape(-1,1)
  15. #print(residues.shape)
  16. grad = np.dot(X.T, residues) / X.shape[0]
  17. theta -= alpha*grad
  18. cost[i] = computeCost(X,y,theta)
  19. return theta, cost
  20. boston = datasets.load_boston()
  21. X = boston.data
  22. y = boston.target
  23. X_std = (X - np.mean(X, axis=0)) / np.std(X, axis=0)
  24. X_std = np.concatenate([X_std,np.ones((X.shape[0],1))], axis=1)
  25. theta = np.zeros((X_std.shape[1],1))
  26. alpha = 1e-4
  27. epoch = 100000
  28. # perform linear regression on the data set
  29. g, cost = gradientDescent(X_std, y, theta, alpha, epoch)


            

 

### 集成学习的概念 集成学习是一种通过组合多个模型(通常称为弱学习器)来提高预测性能的方法。这种方法的核心理念在于,单个模型可能具有较高的偏差或方差,而通过聚合多个模型的结果,则可以在一定程度上减少这种误差,从而获得更好的泛化能力。 ### 常见的集成学习方法 #### 袋装法(Bagging) 袋装法旨在降低模型的方差,进而提升其稳定性与准确性。具体做法是从原始训练集中有放回地抽取样本子集,针对每个子集独立训练一个基分类器;最终预测时采用投票机制决定类别标签[^2]。 ```python from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier bagging_model = BaggingClassifier(base_estimator=DecisionTreeClassifier(), n_estimators=10) ``` #### 提升法(Boosting) 不同于Bagging并行处理各基估计量的方式,Boosting采取串行方式逐步改进模型表现。每一轮迭代过程中都会根据前一轮的表现调整权重分布,使得后续的学习更加关注之前容易被误分的数据点。常见的实现算法包括AdaBoost、Gradient Boosting等[^3]。 ```python from sklearn.ensemble import AdaBoostClassifier adaboost_model = AdaBoostClassifier(n_estimators=50, learning_rate=1) ``` #### Stacking Stacking进一步扩展了传统集成策略的思想,允许不同类型的机器学习算法作为初级层中的基础组件参与进来。在此基础上再引入一层元学习者负责综合底层输出特征完成最终决策任务[^1]。 ```python from mlxtend.classifier import StackingCVClassifier from sklearn.linear_model import LogisticRegression stacking_model = StackingCVClassifier(classifiers=[clf1, clf2], meta_classifier=LogisticRegression()) ``` ### 应用场景 - **金融风险评估**:利用随机森林等集成方法分析客户信用评分数据,帮助银行更精准识别潜在违约风险。 - **医疗诊断辅助系统**:借助XGBoost等高效梯度增强框架对疾病症状进行建模,支持医生做出更为可靠的诊疗建议。 - **图像识别领域**:结合卷积神经网络(CNN)与GBDT(Gradient Boosted Decision Trees),能够有效改善视觉对象检测精度,在自动驾驶汽车感知模块中有广泛应用前景[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

举报

选择你想要举报的内容(必选)
  • 内容涉黄
  • 政治相关
  • 内容抄袭
  • 涉嫌广告
  • 内容侵权
  • 侮辱谩骂
  • 样式问题
  • 其他
点击体验
DeepSeekR1满血版
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回顶部