[Machine Learning] 9 机器学习系统的设计(Machine Learning System Design)

最新推荐文章于 2024-01-25 14:37:27 发布
最新推荐文章于 2024-01-25 14:37:27 发布
阅读量401 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45399074/article/details/107358251
版权
本文介绍了机器学习系统设计的重点，包括如何确定工作优先级，进行错误分析，处理偏斜类的误差评估，以及在查准率和查全率之间进行权衡。错误分析通过查看误分类的实例来改进算法，而偏斜类问题需要关注查准率和查全率。在数据量足够大的情况下，即使算法简单，也能通过大量数据提升性能。
摘要由CSDN通过智能技术生成

在这里插入图片描述

点Ta

9 Machine Learning System Design(机器学习系统的设计)

9.1 Prioritizing What to Work On

例子：一个垃圾邮件分类器算法。

为了解决这样一个问题，首先要确定如何选择并表达特征向量𝑥。例如可以选择由 100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得特征向量（出现为 1，不出现为 0），尺寸为 100×1。
在这里插入图片描述
为了构建这个分类器算法，可以做很多事，例如：

  1. 收集更多的数据，让我们有更多的垃圾邮件和非垃圾邮件的样本
  2. 基于邮件的路由信息开发一系列复杂的特征
  3. 基于邮件的正文信息开发一系列复杂的特征，包括考虑截词的处理
  4. 为探测刻意的拼写错误（把 watch 写成 w4tch）开发复杂的算法

9.2 Error Analysis

构建一个学习算法的推荐方法为：

    最低0.47元/天 解锁文章
    今天你DEBUG了吗
    关注
    • 0
      点赞
    • 踩
    • 0
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    专栏目录
    System Design Interview.pdf
    09-22
    The system design interview is considered to be the most complex and most difficult technical job interview by many. Those questions are intimidating, but don’t worry. It's just that nobody has taken the time to prepare you systematically.
    Building Intelligent Systems_A Guide to Machine Learning Engineering(2018).pdf
    03-08
    Building Intelligent Systems is a book about leveraging machine learning in practice. It covers everything you need to produce a fully functioning Intelligent System, one that leverages machine ...
    Machine Learning System Design的一道题
    weixin_33736649的博客
    02-25 155
    一道很简单的题快把我绕晕了...（年纪大了真是拙计） 化简一下:Spam y=1 | 1%Non-spam y=0 | 99% 我开始有点懂了，上图左侧，横轴是事实，纵轴是预测。一共100封邮件，1封垃圾，99正常邮件。即Actual Positive=1; Actual negative=99A选项 always predic...
    Coursera公开课笔记: 斯坦福大学机器学习第十一课“机器学习系统设计(Machine learning system design)”
    overstack的专栏
    05-20 2589
    斯坦福大学机器学习斯坦福大学机器学习第十一课“机器学习系统设计(Machine learning system design)””学习笔记，本次课程主要包括5部分： 1) Prioritizing what to work on: Spam classification example(工作的优先级：垃圾邮件分类例子) 2) Error analysis(错误分析) 3) Err
    Stanford机器学习笔记-7. Machine Learning System Design
    weixin_30908707的博客
    04-18 257
    7 Machine Learning System Design Content 　　7 Machine Learning System Design 　　　　7.1 Prioritizing What to Work On 　　　　7.2 Error Analysis 　　　　7.3 Error Metrics for Skewed Classed 　　　　　　7.3.1 P...
    ml-6-2-机器学习系统的设计Machine Learning System Design
    大数据精读周刊
    10-14 921
    机器学习系统的设计Machine Learning System Design Prioritizing What to Work On 本周以一个垃圾邮件分类器算法为例进行讨论。 为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量 x。我们可以选择一个由 100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为 1，不出现为 0），尺寸为 100×1。 为了构建这个分类器算法，我们可以做很多事，例如： 1. 收集更多的数据，让我们有更多的垃
    Machine learning system design(机器学习系统的设计)
    qq_36417014的博客
    11-18 722
    前言 这一章内容还是紧接上一章内容的，在上一章我们给大家介绍了当我们在构建了一个学习模型后，我们发现用这个模型去预测新的数据时，有很大的偏差，我们该如何进行改进。也跟大家介绍了出现问题的类型包括高偏差和高方差，和如何用learning curve去判断这个改进方法是否有效等等，在这一章我将给大家介绍在构建一个学习系统前该做些什么工作。 最后，如果有理解不对的地方，希望...
    基于支持向量机的机器学习研究 Research of Machine-Learning Based Support Vector Machine
    07-04
    针对机器学习系统的具体结构,提出了机器学习系统的模块化设计,划分出了输入处理、训练、执行与评价、评价表示 4 个模块,设计了各个模块之间的通信方式,并具体实现了 4 个模块和模块集成系统。 根据基于支持向量机的...
    leetcode中国-MachineLearning_notes:这是我标记所有机器学习材料的地方
    06-29
    Machine learning & Leetcode this is the place where i mark all materials for machine learning Category GitHub Description Status Machmatics Probability&Statistics Math NEWS Top News GitHub ...
    machine-learning-interview-enlightener:此仓库旨在作为机器学习AI技术面试的指南
    03-05
    :light_bulb: 机器学习面试的启发性指南 :orange_book: :laptop: :robot: :label: 笔记： 此仓库正在持续开发中，非常欢迎任何反馈和贡献 :smiling_face_with_smiling_eyes: 如果您想贡献，请提出拉动请求并提出建议...
    机器学习系统的设计(Machine Learning System Design)
    最新发布
    qq_45742413的博客
    01-25 1121
    假设特征值有足够的信息来预测𝑦值，假设我们使用一种需要大量参数的学习算法，比如有很多特征的逻辑回归或线性回归，或者用带有许多隐藏单元的神经网络，那又是另外一种带有很多参数的学习算法，这些都是非常强大的学习算法，它们有很多参数，这些参数可以拟合非常复杂的函数，因此我要调用这些，我将把这些算法想象成低偏差算法，因为我们能够拟合非常复杂的函数，而且因为我。于是他们把诸如这样的机器学习问题，当做一类监督学习问题，并尝试将其分类，什么样的词，在一个英文句子特定的位置，才是合适的。也就是说训练误差有希望接近测试误差。
    Machine Learning System Design(Andrew ng ML)
    Zhaohui1995_Yang的专栏
    05-28 529
    Machine Learning System Design
    吴恩达《Machine Learning》-Machine Learning System Design机器学习系统设计（十一）
    丰brother的博客
    07-14 399
    Prioritizing What to Work On确定工作的优先顺序 建立垃圾邮件（拼写错误）和非垃圾邮件的监督学习分类器 如果数据中存在此单词，向量中标为1。如果数据中不存在此单词，向量中标为0。 对于邮件特征，我们经常挑选出频率高的单词，而不是手动根据经验选择100个单词。 减少错误率的方法（不一定都有效，具体问题具体分析） 1.收集大量的数据，也就是样本，来增大我们的训练量。...
    测试【Machine Learning week6】Machine Learning System Design
    qq_28087847的博客
    12-16 947
    先说明一下，本人是技术小白，就是自己边看Andrew NG的《Machine Learning》边学机器学习。在做课后测试题的过程中，可能是因为英语不太好，或者也只是懵懵懂懂的，所以很多时候不是一次就能通过，有的时候只能无耻地去百度答案，可惜有的时候网上也找不到，这个时候就得自己反复看课件再学习。这一章，也是没有找到答案，所以就自己认真地把题做了。在这里跟网友们分享一下自己做的答案，仅供参考。
    第六周：Machine learning system design
    ╰︶￣ 莫等闲
    11-10 538
    做项目的推荐方法 迅速地用一个简单的算法来实现这个项目，不必特别精细，并在交叉验证集上测试。 画出学习曲线，判断是否需要更多的数据，或者更多的特征值还是多项式等等。 之后就是误差分析了，需要我们人工地去检查那些犯错的样例，发现这些样例有哪些共同的性质。 评估算法好坏我们以癌症患者分类器为例，比如说癌症患者在训练集的比例是0.5%，那如果我的机器学习算法说，所有的人都不是癌症患者，那么我的算法冒无疑问
    机器学习系统设计
    Linias的博客
    09-07 985
    机器学习系统设计   以一个垃圾邮件分类器算法为例进行讨论。 为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量xx。我们可以选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为1，不出现为0），尺寸为100×1。     误差分析 **构建一个学习算法的推荐方法为： 1. 从一个简单的能快速实现的算法...
    机器学习（十六） - Machine Learning System Design
    mike112223的博客
    07-27 875
    Building a Spam Classifier Prioritizing What to Work On 假设我们现在有一个任务，是建立一个垃圾邮件分类器。首先我们想到可以通过邮件里的内容来进行分类，比如人工选出100个词，作为100个特征xjxjx_j，如果该词存在于邮件当中就将该词对应的xjxjx_j置为1，否则为0。当我们建立好训练集，就可以开始对模型进行训练，训练完成之后就可...
    机器学习很有趣！第二章：用机器学习制作超级马里奥的关卡
    拼命先生的AI之旅
    02-17 839
    作者：Adam Geitgey 原文：https://medium.com/@ageitgey/machine-learning-is-fun-part-2-a26a10b68df3 翻译：拼命先生 转载请联系译者！   在第一章中我们说到，机器学习使用通用算法告诉您一些有关数据的有趣的结论，而无需针对您正在解决的问题编写任何特定的代码。（如果您还没有阅读第1章，请立即阅读！）。 这一...
    (PDF分享) 机器学习面试cookbook
    fengdu78的博客
    10-16 201
    本次分享2个优质资源 ，涵盖Machine Learning/Data science岗位面试高频问题（图文并茂讲解）。Machine Learning Interview Cheat sheets由来自佐治亚理工学院 (Georgia Institute of Technology，GT）的Aqeel Anwar博士分享；文末提供高清PDF下载方式。内容概览Imbalanced Data in...
    实战机器学习：Machine Learning in Action解析
    "Machine Learning in Action 是一本由Peter Harrington编著的关于机器学习的最佳实践书籍，由Manning出版社出版。本书深入浅出地探讨了...这本书不仅是学习机器学习的理想起点，也是专业人士持续提升技能的宝贵资源。
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值