关于 Machine Learning 与 Statistical Modeling 的那些事

最新推荐文章于 2023-03-26 13:37:37 发布
最新推荐文章于 2023-03-26 13:37:37 发布
阅读量255 收藏
点赞数
文章标签： 人工智能
原文链接：https://juejin.im/post/5bb309ebe51d450e9c55995a
版权

机器学习 与 统计模型

在资料科学的讨论中，这样的问题是很多人想知道，也是一个难以三言两语回答的问题：

机器学习与统计模型有什么不同？

一般来说，这两个项目所研究的目标相近，不同的是使用的背景不同。机器学习是资工领域发展的议题；统计模型是统计学所探讨的领域。这是一张有趣的图来说明资料科学中之间错综复杂的交织关系：

首先，不管是机器学习或是统计模型都有一个共同的目标 － Learning from Data. 这两种方法的目的都是透过一些处理资料的过程中，对资料更进一步的了解与认识。

来看看这两者在科学上的简单定义：

  • Machine Learning: an algorithm that can learn from data without relying on rules-based programming.
  • Statistical Modelling: formalization of relationships between variables in the form of mathematical equations.

换个角度，看看实际上使用上有什么差异。这是一张 McKinsey 用于客户风险预测问题的结果，有 A 、 B 两个变数。绿色线是统计方法得出的规则；等曲线是机器学习方法发现的，两者皆能够指出风险较高的趋势。

统计方法用一个方程式去描述分类问题，将资料找出一个分割线将结果分成两类。然而，从机器学习的方法找出来的是一圈一圈的等曲线，看起来似乎可以得到更广泛的结果，而不只是简单的分类问题。

机器学习是从资工及人工智慧中发展而来的领域，透过非规则的方法去学习资料分布的关系。统计模型是统计学中利用这种变量去描述与结果的关系。统计模型是基于与说严格的限制下去进行的，称为假设检定，这也是与机器学习方法上的不同。

基于假设检定下的发展，使得统计模型能找出更贴近「现有资料」的趋势。然而，预测的目的是为了找出「未来资料」或所有资料，但假设会使得资料太贴近现有资料（机器学习中称为 过拟和的一种问题）。严格的假设也成了统计学习的一种双面刃，有一句资料科学中流传的名言是这样讲的：the lesser assumptions in a predictive model, higher will be the predictive power.

算式与定义

机器学习

一种不依赖于规则设计的数据学习算法；计算机科学和人工智慧的一个分支，通过数据学习构建分析系统，不依赖明确的构建规则。

Output Y = f(Input X): X \rightarrow Y

统计模型

以数学方程形式表现变量之间关系的程式化表达；数学的分支用以发现变量之间相关关系从而预测输出。

Dependent Variable Y = f( Independent Variable X ) + error function

后记

不管是统计专家或机器学习专家，甚至是太空物理学家，基本上都是想要建立模型来诠释这世界的种种现象，但主要的差别在于，统计模型有考虑了随机误差，并且对随机误差有一整套严密的解释体系，但其他领域的专家所建立的模型未必有考量到随机误差。如果自然界与人类社会的种种现象没有这个随机误差的存在，整个统计领域可以完全消失也无所谓。

接触过机器学习、资料探勘的人大概都知道，如果没有整个母体的模型假设加上随机误差模型的搭配，很多号称「表现很好」的模型，其实过一阵子就都会完蛋，也因此经常需要持续不断的微调参数。

Reference

  1. Difference between Machine Learning & Statistical Modeling
  2. 【陈景祥专栏】当统计专家遇上机器学习专家

License

本著作由Chang Wei-Yaun (v123582)制作， 以创用CC 姓名标示-相同方式分享 3.0 Unported授权条款释出。

转载于:https://juejin.im/post/5bb309ebe51d450e9c55995a

weixin_34239592
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第二章：Statistical Modeling
taojiea1014的博客
06-28 704
第二章：Statistical Modeling目录2.2 The difference between statistical and probabilistic model2.3 A simple example of statistical modeling2.3.1 Classical statistics for classical data2.4 Binomial distributions and maximum likelihood2.4.1 An example2.5 More boxes
Machine Learning and Statistical Modeling Approaches to Image Retrieval
12-30
《机器学习与统计建模在图像检索中的应用》是一本深入探讨如何利用机器学习和统计模型来提升图像检索效率和准确性的专著。作者James Z. Wang和Li Jia是该领域的知名专家，他们在书中详细阐述了他们所采用的方法和...
Machine Learning Modelling in R.pdf
09-13
Machine Learning Modelling in R.pdf
机器学习（Machine Learning）和传统的数据统计分析（Data Statistics）有什么区别？
梅森上校的博客 业精于勤荒于嬉，形成于思毁于随。
05-03 2010
机器学习（Machine Learning）和传统的数据统计（Data Statistics）有什么区别？ 机器学习 强调预测 通过预测性能评估结果 关注过度拟合而不是模型本身的复杂性 注重表现 通过在新数据集上的性能获得可概括性 通常，没有指定超人口模型 对性能和健壮性的关注 传统统计分析 强调超总体推断 关注a-先验假设 更简单的模型优于复杂的模型（简约），即使更复杂的模...
关于AI可解释性和准确性的思考
九三智能控
07-22 1354
点击上方蓝色字体，关注：决策智能与机器学习，每天学点AI干货编者按：本篇文章重新回顾了Breiman于2001年发表的《Statistical Modeling：The ...
Machine Learning for Computer Systems and Networking:A Survey ---综述阅读 对于计算机系统和网络的机器学习
最新发布
weixin_40293999的博客
03-26 1762
机器学习已经成了计算机视觉和自然语言处理等多个学科领域的主要方法.尽管最近取得了一些突破,机器学习仅仅在计算机视觉和网络领域进入了基本挑战.本文尝试阐明最近的尝试用ml解决计算机系统和网络的传统问题的文献.为了这一目标,我们首先介绍了一套研究问题领域的方法学,然后我们对每个领域进行了综合的回顾,并对这些领域进行了传统方法和ML方法的比较.最后,我们讨论了对计算机系统和网络的机器学习方法限制,的包括:训练数据不足,过拟合,实时性能,可解释性,并针对这些不足揭示出未来发展的方向.最接近我们工作的是[174]。
Python Machine Learning Blueprints
05-05
Key Features, Put machine learning principles into practice to solve real-world problemsGet to grips with Python's impressive range of Machine Learning libraries and frameworksFrom retrieving data ...
Mastering Machine Learning with R - Second Edition
04-27
Mastering Machine Learning with R - Second Edition by Cory Lesmeister English | 24 Apr. 2017 | ASIN: B01N5XJ3O0 | 420 Pages | AZW3 | 4.42 MB Key Features Understand and apply machine learning ...
Machine Learning: A Bayesian and Optimization Perspective
09-04
This tutorial text gives a ... statistical/adaptive signal processing, statistical/Bayesian learning, as well as short courses on sparse modeling, deep learning, and probabilistic graphical models.
Statistical Reinforcement Learning - Modern Machine Learning Approaches
11-22
Statistical Reinforcement Learning: Modern Machine Learning Approaches Masashi Sugiyama Taylor & Francis, 16 Mar 2015 - Business & Economics - 206 pages Reinforcement learning is a mathematical framework for developing computer agents that can learn an optimal behavior by relating generic reward signals with its past actions. With numerous successful applications in business intelligence, plant control, and gaming, the RL framework is ideal for decision making in unknown environments with large amounts of data. Supplying an up-to-date and accessible introduction to the field, Statistical Reinforcement Learning: Modern Machine Learning Approaches presents fundamental concepts and practical algorithms of statistical reinforcement learning from the modern machine learning viewpoint. It covers various types of RL approaches, including model-based and model-free approaches, policy iteration, and policy search methods. Covers the range of reinforcement learning algorithms from a modern perspective Lays out the associated optimization problems for each reinforcement learning scenario covered Provides thought-provoking statistical treatment of reinforcement learning algorithms The book covers approaches recently introduced in the data mining and machine learning fields to provide a systematic bridge between RL and data mining/machine learning researchers. It presents state-of-the-art results, including dimensionality reduction in RL and risk-sensitive RL. Numerous illustrative examples are included to help readers understand the intuition and usefulness of reinforcement learning techniques. This book is an ideal resource for graduate-level students in computer science and applied statistics programs, as well as researchers and engineers in related fields.
数据挖掘、机器学习、深度学习的区别
weixin_46880696的博客
11-04 3574
详细解析数据挖掘、机器学习、深度学习的概念和区别
数学加强 第一节 第一课
我是小白呀的博客
11-16 1826
[toc] 什么是机器学习 对于某给定的任务 T, 在合理的性能度量方案 P 的前提下, 某计算机程序可以自主学习任务 T 的经验 E. 随着提供合适, 优质, 大量的经验 E, 该程序对于任务 T 的性能逐步提高. 换个表述: 机器学习是人工智能的一个分支. 我们使用计算机设计一个系统, 使它能够根据提供的训练数据按照一定的方式来学习. 随着训练次数的增加, 该系统可以在性能上不断学习和改进. 通过参数优化的学习模型, 能够用于预测相关问题的输出. 机器学习的对象 任务: Task, T.
机器学习入门1-译文-机器学习是什么以及它的重要性（machine learning--what it is and why it matters）
qqzhuimengren的博客
09-21 2858
本文目录索引1、前言1.0侵删1.0.1 20200920首发1.0.2 良心翻译1.1 此系列说明1.2 聊点机器学习1.2.1 机器学习的定义1.2.2 知识发现、机器学习、人工智能之间的异同2、机器学习是什么以及它的重要性序机器学习的演变史为什么机器学习很重要当今世界的机器学习都谁在使用这门技术？有哪些流行的机器学习方法？机器学习怎么玩一些框框内的机器学习与人工智能的区别创建良好的机器学习系统需要什么？拓展数据挖掘，机器学习和深度学习之间有什么区别？3、machine learning--what i
Machine Learning：机器学习解读（一）
CBssim的博客
09-08 527
说到机器学习，我主修数据科学与大数据技术专业，学的内容跟它的概念与逻辑尚没有太大的交织，对机器学习产生了兴趣，是因为我对人工智能以及神经网络这方面的知识有着极其强烈的好奇心与求知欲？ 一半一半吧。 总之，看了相关视频与论文，也实践了一些神经网络模型的运用，我想说其实Machine Learning这座山没有我想象中那么难爬，一步一步慢慢来总会到达目的地的。 希望我对机器学习的解读能够帮大家快速了解到机器学习的应用领域与基本原理。 以下机器学习内容大纲属个人观点及看法，感谢您的点击与阅读，欢迎大家提
Matlab 数学建模 方法（四）： 机器学习
BLvren_的博客
11-18 6291
1. MATLAB机器学习概况 机器学习 ( Machine Learning ) 是一门多领域交叉学科，它涉及到概率论、统计学、计算机科学以及软件工程。 机器学习是指一套工具或方法，凭借这套工具和方法，利用历史数据对机器进行“训练”进而“学习”到某种模式或规律，并建立预测未来结果的模型。 机器学习涉及两类学习方法（如图1）： 有监督学习，主要用于决策支持，它利用有标识的历史数据进行训练，...
Statistical Modelling: The two Cultures 读书笔记
李皮皮的博客
03-10 1154
Notes for Statistical Modelling: The twoCultures: 1. statistical modelling中有两种文化|：（1）一种使用algorithmic models并且认为datamechanism是未知的。这个领域在统计学之外得到了很大发展。可以用在大数据集中，并且相比于小数据集，它能更加精确并且可以获取更多信息。（2）一种使用data mode...
数据挖掘(data mining)，机器学习(machine learning)，和人工智能(AI)的区别是什么？ 数据科学(data science)和商业分析(business analytics...
weixin_33932129的博客
08-06 1547
本来我以为不需要解释这个问题的，到底数据挖掘(data mining)，机器学习(machine learning)，和人工智能(AI)有什么区别，但是前几天因为有个学弟问我，我想了想发现我竟然也回答不出来，我在知乎和博客上查了查这个问题，发现还没有人写过比较详细和有说服力的对比和解释。那我根据以前读的书和论文，还有和与导师之间的交流，尝试着说一说这几者的区别吧，毕竟一个好的定义在未来的学习和...
统计机器学习(statistical machine learning)
deye1979的专栏
11-30 624
组要组成部分：监督学习(supervised learning)，非监督学习(unsupervised learning)，半监督学习(semi-supervised learning)，强化学习(reinforcement learning)。 三要素：模型（model），策略(strategy)，算法(algorithm)。 模型就是设计一种机器学习模型（神经网络的网...
"贝叶斯统计分析与机器学习解析，概念、方法详解
Bayesian statistical analysis is a powerful technique in the field of machine learning that allows for the incorporation of prior knowledge and uncertainty into statistical models. This approach is ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值