斯坦福ML公开课笔记9—偏差/方差、经验风险最小化、联合界、一致收敛

最新推荐文章于 2024-04-28 13:05:15 发布
最新推荐文章于 2024-04-28 13:05:15 发布
阅读量1.2w 收藏 19
点赞数 8
分类专栏： 机器学习笔记 机器学习笔记 文章标签： 偏差方差 联合界 经验风险最小化 一致收敛 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stdcoutzyx/article/details/12110337
版权

本篇与前面不同，主要内容不是算法，而是机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk Minization，ERM）、联合界（Union bound）、一致收敛（Uniform Convergence）。

Ng对学习理论的重要性很是强调，他说理解了学习理论是对机器学习只懂皮毛的人和真正理解机器学习的人的区别。学习理论的重要性在于通过它能够针对实际问题更好的选择模型，修改模型。






张雨石
关注
  • 8
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
斯坦福机器学习ML公开课笔记1-15（完整版、带目录索引和NG原版讲义）
11-07
1-15节全部完整版讲义！超清分享~~~（附赠目录索引和NG原版讲义） 含金量高，独家整理~~ 目录如下： 公开课笔记1-2——线性规划、梯度下降、正规方程组 公开课笔记3——局部加权回归、逻辑斯蒂回归、感知器算法 公开课笔记4——牛顿方法、指数分布族、广义线性模型 公开课笔记5——生成学习、高斯判别、朴素贝叶斯 公开课笔记6——NB多项式模型、神经网络、SVM初步 公开课笔记7——最优间隔分类、原始/对偶问题、SVM对偶 公开课笔记8———核技法、软间隔分类器、SMO算法 公开课笔记9—偏差/方差、经验风险最小化、联合界、一致收敛 公开课笔记10——VC维、模型选择、特征选择 公开课笔记11——贝叶斯正则化、在线学习、ML应用建议 公开课笔记12——K-Means、混合高斯分布、EM算法 公开课笔记13A——混合高斯模型、混合贝叶斯模型 公开课笔记13B-因子分析模型及其EM求解 公开课笔记14——主成分分析 公开课笔记15—隐含语义索引、奇异值分解、独立成分分析
经验风险最小化ERM
chen的博客
10-15 856
需要注意的是，ERM 框架存在过拟合的风险，因为它倾向于在训练数据上获得零错误。因此，为了避免过拟合，通常需要引入正则化项，如L1正则化（Lasso）、L2正则化（Ridge），以限制参数的复杂度。经验风险最小化（Empirical Risk Minimization，ERM）是机器学习中一个常见的问题框架，用于构建和训练模型以最小化在训练数据集上的损失函数。该框架的目标是通过最小化训练数据上的经验风险来选择和调整模型的参数，以期望在未见数据上获得良好的性能。输出最优参数：在迭代结束时，输出最优的参数。
一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战
最新发布
2401_84166376的博客
04-28 1033
集成模型Boosting补完计划第三期了，之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架，余下几种Boosting算法都是在前者的算法之上改良得到，尤其是以GBDT算法为基础改进衍生出的三种Boosting算法：XGBoost、LightGBM、CatBoost。
经验风险最小化
datongchi4098的博客
11-18 856
学习理论： 偏差方差权衡（Bias/variance tradeoff） 训练误差和一般误差（Training error & generation error） 经验风险最小化（Empiried risk minization） 联合界引理和Hoeffding不等式（Union bound & Hoeffding inequality） 有限与无限假设类的...
经验风险最小化（ERM, Empirical risk minimization）
zaozxueyuan的专栏
06-06 7002
本文摘自：http://hi.baidu.com/taozpwater/item/abdd1a1084a1364b3b176e59
XGBoost详解（原理篇）
tt丫的博客
03-15 3万+
XGBoost全称为eXtreme Gradient Boosting，即极致梯度提升树。XGBoost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器（个体学习器间存在强依赖关系，必须串行生成的序列化方法）。Note：关于Boosting算法详见博文集成学习详解_tt丫的博客-CSDN博客XGBoost是一种提升树模型，即它将许多树模型集成在一起，形成一个很强的分类器。其中所用到的树模型则是CART回归树模型。
斯坦福ML公开课笔记(中文版1-6)
11-06
在GMM中，我们需要估计每个分量的均值、方差和权重，通过期望最大化（Expectation-Maximization, EM）算法来实现参数的迭代优化。 **混合贝叶斯模型** 混合贝叶斯模型（Bayesian Mixture Model）是贝叶斯统计方法...
斯坦福ML公开课笔记(中文版7-11)
11-06
这些笔记内容涵盖了机器学习的多个重要主题，旨在帮助学习者深入理解这些模型的工作原理和应用场景，提升数据分析和机器学习项目的能力。通过阅读和研究这些资料，可以增强对机器学习理论和实践的理解，为进一步的...
斯坦福ML公开课笔记91
08-03
在本文中，我们将探讨的是斯坦福大学机器学习（ML）公开课笔记第91节的内容，主要涉及学习理论的一些核心概念，包括偏差/方差、经验风险最小化（ERM）、联合界（Union Bound）以及一致收敛（Uniform Convergence）。...
机器学习优化问题-经验风险、期望风险、结构风险
Javier9201的博客
08-28 621
要区分这三个概念，需要先讲一下损失函数L(Y,f(x))的概念。 损失函数：针对单个具体样本，表示模型预测值与真实样本值之间的差距。损失函数越小，说明模型对于该样本预测越准确。常见损失函数有0-1损失函数、平方损失函数、绝对损失函数、对数损失函数（对数似然损失函数）。 经验风险：对所有训练样本都求一次损失函数，再累加求平均。即，模型f(x)对训练样本中所有样本的预测能力。 ...
XGBoost模型详解
weixin_44852067的博客
04-24 1万+
1.什么是XGBoost？   GBDT，它是一种基于boosting增强策略的加法模型，训练的时候采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t−1t-1t−1 棵树的预测结果与训练样本真实值的残差。XGBoost对GBDT进行了一系列优化，比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等，在可扩展性和训练速度上有了巨大的提升，但其核心思想没有大的变化。 2.XGBoost的核心原理 2.1 如何构造目标函数？   对于一个给定有 nnn 个样本和
XGBoost算法介绍
Silence的博客
04-05 5万+
XGBoost算法介绍一、简介二、基本原理三、目标函数新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一、简介   XGBoost(eXtreme Gradient Boosting)又叫极度梯度提升树，是boosting
【机器学习】XGBoost
Dong_ZH的博客
02-20 1万+
XGBoost(eXtreme Gradient Boosting)极度梯度提升树，属于集成学习中的boosting框架算法。对于提升树，简单说就是一个模型表现不好，继续按照原来模型表现不好的那部分训练第二个模型，依次类推。本质思想与GBDT一致，构建多个基学习器使用加法模型，学习前面基学习器的结果与真实值的偏差，通过多个学习器的学习，不断降低模型值和实际值的差。最终模型的预测结果是由所有基学习器预测结果的加和。
xgboost
热门推荐
聊伟的博客
08-09 6万+
Xgboost 概念内容介绍来自七月在线头条号： xgboost一直在竞赛江湖里被传为神器，比如时不时某个kaggle/天池比赛中，某人用xgboost于千军万马中斩获冠军。 RF和GBDT是工业界大爱的模型，Xgboost 是大杀器包裹，Kaggle各种Top排行榜曾一度呈现Xgboost一统江湖的局面，另外某次滴滴比赛第一名的改进也少不了Xgboost的功劳”。 1 决策树 举个例子...
(九)XGBoost的原理、具体实例、代码实现
user_28608的博客
10-10 7125
XGBoost，全称eXtreme Gradient Boosting ，简称XGB，是GBDT算法的一种变种，是一种监督算法；它是boost算法的一种，也属于集成算法，是一种伸缩性强、便捷的可并行构建模型的Gradient Boosting算法。其高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中。并取得了不错的成绩。它可用于分类，回归，排序问题。
XGBoost
小蜗牛的博客
04-10 3500
LeetCode题目记录1.XGBoost概念2.集成思想3.分析XGboost思路4.原理推导5.正则化6.优缺点7. sklearn 参数 1.XGBoost概念 XGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoo...
深入理解XGBoost
Microstrong
12-22 4458
我的个人微信公众号： Microstrong 微信公众号ID： MicrostrongAI 微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！ 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities...
XGBoost的介绍
Despicable_Me的博客
06-08 6012
XGBoost（eXtreme Gradient Boosting）是一种基于梯度提升树的机器学习算法，它在解决分类和回归问题上表现出色。它是由陈天奇在2014年开发的，如今已成为机器学习领域中最流行和强大的算法之一。XGBoost结合了梯度提升框架和决策树模型，通过迭代地训练一系列的决策树来逐步改进预测性能。它的目标是优化损失函数，使得预测值与实际值之间的误差最小化。
使用PyPortfolioOpt库提供的优化函数，使用均值方差优化方法来最小化投资组合的风险
05-27
使用PyPortfolioOpt库提供的均值方差优化方法来最小化投资组合的风险，您可以按照以下步骤进行操作： 1. 导入库和数据：首先导入PyPortfolioOpt库，然后导入您收集的股票数据。 ```python import pandas as pd from pypfopt import expected_returns from pypfopt import risk_models from pypfopt.efficient_frontier import EfficientFrontier ``` 2. 数据预处理：使用PyPortfolioOpt库提供的数据预处理工具，对数据进行清理、标准化等操作。 ```python prices = pd.read_csv("stock_prices.csv", parse_dates=True, index_col="date") returns = prices.pct_change().dropna(how="all") ``` 3. 计算预期收益率和协方差矩阵：使用PyPortfolioOpt库提供的函数，计算股票的预期收益率和协方差矩阵。 ```python mu = expected_returns.mean_historical_return(returns) Sigma = risk_models.sample_cov(returns) ``` 4. 构建投资组合：使用PyPortfolioOpt库提供的构建投资组合的函数，将不同的股票按照一定的权重组合在一起，形成一个整体的投资组合。 ```python ef = EfficientFrontier(mu, Sigma) weights = ef.max_sharpe() cleaned_weights = ef.clean_weights() print(cleaned_weights) ``` 5. 进行优化：使用PyPortfolioOpt库提供的优化函数，根据不同的优化目标和约束条件，对投资组合进行优化。在这里，我们使用均值方差优化方法来最小化投资组合的风险。 ```python ef = EfficientFrontier(mu, Sigma) weights = ef.min_volatility() cleaned_weights = ef.clean_weights() print(cleaned_weights) ``` 6. 分析和可视化：使用PyPortfolioOpt库提供的分析和可视化工具，对优化结果进行分析和可视化，以便更好地理解和评估投资组合的风险收益特征。 ```python ef = EfficientFrontier(mu, Sigma) fig, ax = plt.subplots() plotting.plot_efficient_frontier(ef, ax=ax, show_assets=True) plt.show() ``` 需要注意的是，在实际应用中，还需要结合具体的投资目标和情况进行调整和优化。同时，投资组合优化是一个复杂的问题，需要综合考虑多个因素，包括市场环境、行业前景等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值