机器学习笔记

1 概述

1.1 简介

机器学习（Machine Learning）是计算机科学的子领域，也是人工智能的一个分支和实现方式。

“对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么就称这个计算机程序在从经验E学习。”（ 汤姆·米切尔（Tom Mitchell），1997，Machine Learning）

1.2 机器学习、人工智能、数据挖掘

从本质上看，数据科学的目标是通过处理各种数据促进人们的决策，机器学习的主要任务是使机器模仿人类的学习，从而获得知识。而人工智能借助机器学习和推理最终是形成具体的智能行为。

* 人工智能是让机器的行为看起来像人所表现出的智能行为一样。（ 麻省理工学院，约翰·麦卡锡，1956年，达特茅斯会议）

人工智能的先驱们希望机器具有与人类似的能力：感知、语言、思考、学习、行动等。实际上，人工智能包括计算智能、感知智能和认知智能等层次，目前人工智能还介于前两者之间。要达到强人工智能的阶段可能要在计算机基础理论方面进行创新，实现类人脑的结构设计。

* 数据挖掘

数据挖掘使用机器学习、统计学和数据库等方法在相对大量的数据集中发现模式和知识，它涉及数据预处理、模型与推断、可视化等。

数据挖掘在大数据相关技术的支持下，随着数据存储（非关系型NoSQL数据库）、分布式数据计算（Hadoop/Spark等）、数据可视化等技术的发展，数据挖掘对事务的理解能力越来越强，如此多的数据堆积在一起，增加了对算法的要求，所以数据挖掘一方面要尽可能获取更多、更有价值、更全面的数据，并从这些数据中提取价值。

* 机器学习、人工智能与数据挖掘的关系

机器学习是人工智能的一个分支，作为人工智能的核心技术和实现手段，通过机器学习的方法解决人工智能面对的问题。机器学习是通过一些让计算机可以自动“学习”的算法，从数据中分析获得规律，然后利用规律对新样本进行预测。

机器学习是人工智能的重要支撑技术，其中深度学习就是一个典型例子。深度学习的典型应用是选择数据训练模型，然后用模型做出预测。

数据挖掘是从大量的业务数据中挖掘隐藏的、有用的、正确的知识，促进决策的执行。数据挖掘的很多算法都来自机器学习和统计学，其中统计学关注理论研究并用于数据分析实践形成独立的学科，机器学习中有些算法借鉴了统计学理论，并在实际应用中进行优化，实现数据挖掘目标。

1.3 机器学习算法

机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的方法，可以分成下面几种类别：监督学习、无监督学习、强化学习。

（1）监督学习是从有标记的训练数据中学习一个模型，然后根据这个模型对未知样本进行预测。其中，模型的输入是某一样本的特征，函数的输出是这一样本对应的标签。

常见的监督学习算法包括回归分析和统计分类。

监督学习包括分类和数字预测两大类别，

        分类：逻辑回归、决策树、KNN、随机森林、支持向量机、朴素贝叶斯等；

        数字预测：线性回归、KNN、Gradient Boosting和AdaBoost等。

（2）无监督学习又称为非监督式学习，它的输入样本并不需要标记，而是自动从样本中学习特征实现预测。常见的无监督学习算法有聚类和关联分析等，在人工神经网络中，自组织映射（SOM）和适应性共振理论（ART）是最常用的无监督学习。

 （3）强化学习是通过观察来学习做成什么样的动作。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。强化学习强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。

根据机器学习的任务分类，可以分为回归、分类、聚类三大常见机器学习任务。某些机器学习算法可能同时属于不同的分类，如深度学习算法可能存在于监督学习，也可能用于强化学习，在实践过程中可依据实际需要进行选择。