数据科学学习笔记1||机器学习及相关定理

最新推荐文章于 2024-10-03 14:05:11 发布

Inochigohan

最新推荐文章于 2024-10-03 14:05:11 发布

阅读量211

点赞数

文章标签：机器学习 python 概率论

本文链接：https://blog.csdn.net/inochigohan/article/details/120393871

版权

数据科学学习笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、机器学习

二、开发机器学习应用程序的步骤

三、相关定理

一、机器学习

1. 定义：机器学习是一个计算机程序，这个程序能够根据“经验”自我完善

⚪拓展：

1959年，Arthur Samuel提出机器学习。Arthur Samuel (December 5, 1901 – July 29, 1990)美国人工智能和计算机游戏领域的先驱者。他对机器学习的定义是：

“Machine Learning is a field of study that gives computers the ability to learn without being explicitly programmed.”

不需要确定性编程就可以赋予机器某项技能的研究领域。

2.机器学习VS传统编程：

机器学习系统是训练出来的，而不是明确地用程序编写出来的。

传统的编程方式：人类自己积累经验，并将这些经验转换为规则或数学公式，然后就是用编程语言去表达这些规则和公式。
机器学习：在进行机器学习时，人类不需要总结具体的规则或公式，只需要指定学习的步骤，然后将大量数据输入计算机。机器学习可以根据数据和人类提供的学习步骤自己总结经验，自动升级。计算机“学习”完成后得到一个模型程序，而这个有程序生成的程序可以达到甚至超过人类自身的水平。

3.分类：机器学习可分为监督学习（Supervised Learning）和无监督学习（Unsupervised Learning）。
监督学习，即包含有目标标签，如分类和回归等；
无监督学习是指从不包含目标标签的训练样本中自动学习到一些有价值的信息。典型的无监督学习问题有聚类、密度估计、降维等

监督学习
	分类	回归
定义	将实例数据划分到合适的分类中	用于预测数值型数据，数据拟合曲线
区别（在于输出变量的类型）	预测结果是离散的，比如预测明天是阴、晴还是雨，就是一个分类任务	预测结果是连续的，比如预测明天气温是多少度，这是一个回归任务
算法	K-近邻法、朴素贝叶斯、支持向量机、决策树等	线性回归、局部加权线性回归等

无监督学习
	聚类	降维
定义	将数据集合分成由类似的对象组成的多个类的过程	通过某种映射方法，把高维空间中的数据点映射到低维度的空间中
区别（适用的对象不同）	针对的是数据点	针对的是数据的特征
算法	K-均值	主成分分析、因子分析、独立成分分析

二、开发机器学习应用程序的步骤

收集数据：可以使用公开可用的数据源（比如UCI machine learning repository： https://archive.ics.uci.edu/ml/index.php）；
准备输入数据：确保数据格式符合要求；
分析输入数据（探索性数据分析，Exploratory Data Analysis）：确保数据集中没有垃圾数据。查看数据集中是否有缺失值，是否有异常值（某些数据点与数据集中的其他值存在明显的差异），图形化数据等；
训练算法；
测试算法；
使用算法。

三、相关定理

没有免费午餐定理（No Free Lunch Theorem，NFL）是由Wolpert 和Macerday在最优化理论中提出的。没有免费午餐定理证明：对于基于迭代的最优化算法，不存在某种算法对所有问题（有限的搜索空间内）都有效。如果一个算法对某些问题有效，那么它一定在另外一些问题上比纯随机搜索算法更差。也就是说，不能脱离具体问题来谈论算法的优劣，任何算法都有局限性。必须要“具体问题具体分析”。

没有免费午餐定理对于机器学习算法也同样适用。不存在一种机器学习算法适合于任何领域或任务。如果有人宣称自己的模型在所有问题上都好于其他模型，那么他肯定是在吹牛。

丑小鸭定理（Ugly Duckling Theorem）是1969 年由模式识别研究的先驱者渡边慧提出的[Watanable, 1969]。“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。这个定理初看好像不符合常识，但是仔细思考后是非常有道理的。因为世界上不存在相似性的客观标准，一切相似性的标准都是主观的。如果以体型大小的角度来看，丑小鸭和白天鹅的区别大于两只白天鹅的区别；但是如果以基因的角度来看，丑小鸭与它父母的差别要小于他父母和其他白天鹅之间的差别。

世界上不存在分类的客观标准。

奥卡姆剃刀（Occam’s Razor）是由14 世纪逻辑学家William of Occam 提出的一个解决问题的法则：“如无必要，勿增实体”。奥卡姆剃刀的思想和机器学习上正则化思想十分类似：简单的模型泛化能力更好。如果有两个性能相近的模型，我们应该选择更简单的模型。因此，在机器学习的学习准则上，我们经常会引入参数正则化来限制模型能力，避免过拟合。

“More things should not be used than are necessary.”

“All models are wrong, but some are useful.”