【机器学习基石笔记八】-----Noise and Eroor

最新推荐文章于 2024-06-20 15:31:02 发布
最新推荐文章于 2024-06-20 15:31:02 发布
阅读量304 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38103546/article/details/82706723
版权

上节课接触了VC Dimension，如果hypothesis set的d_{vc}有限，并且有足够多的data，同时演算法能够找到一个好的hypothesis使得E_{in}\approx 0,这样可以说机器学习是可行的。那么在数据有noise的情况下是否能够进行机器学习？

Noise and Probablistic target

之前对VC Dimension的推导是在没有noise的情况下，如果数据本身存在noise，怎样放宽VC Bound的假设？

data set一般是存在noise的，其noise一般由三种：

  • 人为因素将good分为bad，或者将bad分为good，noise in y；
  • 同一特征的数据被分为不同的类别；
  • 数据样本不精确；

VC Bound在有noise的情况下能否work?

 

 

 

 

liff_lee
关注
专栏目录
jps命令&Linux的oom-kill&clean机制&PID文件(含实践踩坑)
wzj_wp的博客
12-07 526
jps(Java Virtual Machine Process Status Tool)是java提供的一个显示当前所有java进程pid的命令 1.首先查询下jps的路径 [root@hadoop001 /]# which jps /usr/java/jdk1.8.0_45/bin/jps java路径下 所以需要先配置好jdk 2. jps 抛出两个问题： 1.root用户是否能看到...
python学习笔记（28）----多元线性回归
b1348032123的博客
04-30 844
今天又是自闭的一天，从入门到自闭， 一开始写的显示错误，然后看了半天没看出来，一开始学习率是0.001，最后调了个学习率就没事了，不知道参数怎么调，后面去看书找找 E:/pycharm_/多元线性回归.py:35: RuntimeWarning: overflow encountered in double_scalars k1_grad += x[j,0] * (k1 * x[j,0] + ...
机器学习中的噪音（机器学习基石）
热门推荐
qq_34993631的博客
02-01 2万+
noise的产生在机器学习中我们在独立随机抽样的时候会出现一些搞错的信息，这些错误的数据我们称之为杂讯（或者噪音  noise），一般可以归结为一下两种（以二分为例）：输出错误：1.同样的一笔数据会出现两种不同的评判  2.在同样的评判下会有不同的后续处理。输入错误：1.在收集数据的时由于数据源的随机性会出现错误（比如说，客户在填信息的时候出现的误填）noise的情况下VC维度的可用性在有nois...
Deep Learning for Person Re-identification: A Survey and Outlook——准研究生论文周报
Lei的博客
07-30 1047
1 简介   这是一篇综述性文章，本文从closed-world和open-world两个方面较细致地分析了Re-ID，并展望了前景。这次的心得写得较长，也算是一个总结。   首先，作者通过将Re-ID分为封闭世界(closed-world)的ReID和开放世界(open-world)的Re-ID来陈述，如下表，通俗地说，closed-world指的就是较为理想的环境下的实验，比如单模态的数据集、正确框出的行人box，open-world指的是更贴近现实应用场景的实验，比如跨模态、直接利用原始视频流或图片帧
如何解决ORA-00257: Archiver error问题（清理归档日志）
总想试试，万一成了呢？？
08-27 8195
问题描述： 登陆oracle，提示错误信息ORA-00257: Archiver error. Connect AS SYSDBA only until resolved. 原因分析： 这是归档日志积存过多，占用了磁盘空间导致的问题。 解决方案： 通过删除归档日志或者增加存储空间方式可解决该问题，本文中选择通过rman清除归档日志 root@18b9d420d2d4# rman target sys/xxxx # 检查控制文件和实际物理文件的差别 RMAN> crosscheck archivel
一次ora-00600(12406)的解决
zhou1862324的专栏
07-15 5409
数据库版本11.2.0.4，linux，rac环境 一条sql，按照正常执行计划执行会报Oracle内部错误： SQL> SELECT *   2    FROM (SELECT A.BID,   3                 A.B1SUBCASE,                A.B1NO,   4    5                 A.B1INGDATE,
Error: Error code: 429 - {‘error‘: {‘message‘: ‘Rate limit reached for gpt-3.5-turbo in organization
最新发布
chen的博客
06-20 435
在OpenAI的API使用中，每个组织都有自己的配额和速率限制，以确保服务的公平使用和稳定性。当您看到这样的错误信息时，它通常意味着该组织在一定时间内的API请求次数已经达到了预设的限制。在这种情况下，您可能需要等待一段时间或联系OpenAI以获取更多信息或增加请求限制。“组织 org-PeRzL7VLtO82jHQ0Oe6jcWFK” 在这个上下文中指的是一个在OpenAI平台上注册的用户或公司组织的唯一标识符。具体来说，限制是每分钟3次请求，您已经使用了3次，现在尝试进行第4次请求时触发了错误。
HTTP status 500-java.lang.RuntimeExeption:查询最新添加或修改的一条公告失败！
f760487638的博客
06-08 477
JavaWeb程序设计
og-bin=mysql-bin_Linux下如何增量增量传输MySQL binlog日志
weixin_28705087的博客
01-19 102
在实际的工作中我们遇到了一个问题，MySQL 5.5我们备份使用的mysqldump，然后每天传输的备份到备份机器，但是binlog却不好传输主要要考虑几个问题：1、binlog 没法取时间，按照什么规则来传？2、binlog的传输并不是每次都全部传输过去，而是需要增量的。3、binlog的最后一个日志是在使用的是不能传输的。4、为了更通用需要使用一个前缀，因为每个数据库的binlog前缀是可以...
12_linux笔记-shell脚本命令
cPen_web的博客
10-29 219
11_linux笔记-shell脚本命令回顾1 输入输出重定向输入输出知识点2 2个特殊文件示例：/dev/zero：用来生成指定大小的文件，生成一堆0示例知识点3 here document示例知识点3.2 EOF是文档结束标志 可以自行定义 （end of file）示例知识点4 tee命令示例 博客cpen_web 回顾1 输入输出重定向 输入 read -p “请输入” a -p 提示 a 赋值给a read -s 密码隐藏 输出 echo #echo -e “abc\t abc” 转义字符输
shell-执行故意错误
02-05
在IT行业中，shell脚本是Linux或Unix操作系统中常用的一种自动化任务执行工具。它允许用户通过编写简单的命令行指令来组合复杂的工作流程。在给定的场景中，"shell-执行故意错误"指的是一个设计用来故意出错的shell...
redis-benchmark 报错 (error) ERR unknown command 'redis-benchmark' 无法性能测试
投资自己
06-10 1万+
遇到这个问题，我想大家可能是因为看手册的时候没有认真的看。反正我是没有认真看。手册上给的：redis 性能测试的基本命令如下：redis-benchmark [option] [option value]这个不明显，看个例子：实例以下实例同时执行 10000 个请求来检测性能：$ redis-benchmark -n 10000 -q PING_INLINE: 141043.72 reques...
Qt+go-Fastdfs 仿百度云盘开发笔记-服务端功能实现(二)
Leroy的博客
03-31 296
Qt+go-Fastdfs 仿百度云盘开发笔记-服务端功能实现，使用Gin框架,数据存储使用Mysql.
【机器学习基石笔记七】-----The VC Dimension（VC维数）
菜菜鸟的博客
09-11 1万+
之前的几节着重介绍了机器学习可行的条件并做了详细的推导解释，机器学习可行必须满足两个条件： 假设空间hypothesis sets的size M的大小有限，即当N足够大的时候，那么对于hypothesis sets中任意一个假设g，； 利用演算法A从hypothesis sets中选一个函数g，是，则； 这两个条件对应着test和train两个过程。train的目的是使损失期望，test的目的...
【机器学习基石笔记五】------Training versus Testing（训练与测试过程）
菜菜鸟的博客
09-03 1829
Recap and preview 上节讲到机器学习的可行性，如果有足够的统计资料和有限的hypothesis，通过演算法无论选择什么样的，都会有；如果演算法A选择了一个hypothesis ，其中 ，根据PCA可以保证，可以说明机器学习是可行的。 回顾之前的课程，其中第一节是说机器学习的定义是寻找一个最好的函数g，使得很接近理想的函数f，来保证；第二节课讲述在已知资料data上如何使，可...
【机器学习基石笔记四】-----Feasibility of learning（机器学习的可能性）
菜菜鸟的博客
09-02 803
learing is impossible？ 看下面的例子，根据已有的例子对以下的问题进行分类 根据是否对称分类：+1；根据左上角是否为黑色：-1；实际上还有各种各样的分类方法，它们的分类都是合理的。 假设输入为三维向量，输出为二分类0或者1，根据已经知道的五个训练样本数据data，选择最好的函数g,预测其他三种对应的输出结果。对于这个问题，共有8中hypothesis，其中必须保证...
【机器学习基石笔记六】------Theory of Generalization（一般化理论---举一反三）
菜菜鸟的博客
09-04 621
第五节主要讨论M的数值大小对机器学习的影响。如果M很大，那么就不能保证机器学习有很好的泛化能力，所以问题就转化为验证M有限，即最好按照多项式成长。然后通过引入了成长函数和dichotomy以及break point的概念。提出2D perceptrons的成长函数是多项式级别的猜想。以下探讨这个多项式的形成。 Restriction of Break Point 之前介绍的四种成长函数与bre...
【机器学习基石笔记一】-----When can machines learn？
菜菜鸟的博客
08-29 569
从零开始学习机器学习的理论知识，选用林轩田的机器学习基石课程以及其配套的课件和书（learning from data），红石头整理的笔记，因为便于理解自己整理一遍，以强化理解学习。 其课程讲授导图如下所示： 什么是学习？ 人类获取知识的过程是通过观察积累经验，而机器获取知识的过程是通过数据积累经验。 更具体的定义： 机器学习的过程是从data出发，经过电脑的计算分析，得到某...
【机器学习基石笔记三】----Types of learning(机器学习的类型)
菜菜鸟的博客
09-01 518
根据输出分类： 二元分类（Binary classification） 多分类问题（Multiclass classification） 回归分析（Regression） 结构化学习（structured learning） different data label： 监督式学习（supervised learning） 无监督学习（unsupervised learning)：聚类...
rabbitmq track start eroor, this is suggestion Something went wrong trying to start the trace - check the logs.
04-21
对于这个问题，我可以提供解决建议：首先，检查日志，了解具体错误信息；其次，确认 RabbitMQ 是否已经正确安装和配置；最后，尝试重新启动 RabbitMQ。如果问题仍然存在，请考虑寻求专业的技术支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值