机器学习笔记（一）——机器学习简介

机器学习定义

机器学习教父Tom Mitchell：
一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序在处理T时的性能有所提升。

机器学习概述

机器学习的核心思想是创造一种算法，它能从数据中挖掘出有规律的东西，而不需要针对某个问题去写代码。你需要做的只是把数据“投喂”给这个算法，然后它会在数据上建立自己的逻辑。最基本的机器学习算法是解决分类和回归两大类问题。

机器学习发展历程

机器学习分类

按机器学习算法学习方式可划分为监督学习、非监督学习、半监督学习、强化学习。

（1）监督学习

监督学习的主要特性是使用大量有标签的训练数据来建立模型，以预测新的未知标签数据。用来指导模型建立的标签可以是类别数据、连续数据等。相应的。如果标签是可以分类的，如0~9手写数字的识别、判断是否为垃圾邮件等，则称这样的有监督学习为分类，如果标签是连续的数据，如身高、年龄、商品的价格等，则称其为回归。

（2）非监督学习

无监督学习和监督学习的主要区别在于无监督学习不需要提前知道数据集的类别标签。无监督学习算法使用的场景通常为聚类和降维，如使用K-均值聚类、系统聚类、密度聚类等算法进行数据聚类，使用主成分分析、流形降维等算法减少数据的特征数量。

（3）半监督学习

半监督学习是一种介于有监督学习和无监督学习之间的学习算法，半监督学习的特点就是利用极少的有标签数据和大量的无标签数据进行学习，通过学习得到的经验对无标签的测试数据进行预测。

（4）强化学习

它根据周围环境的情况采取行动，根据每次行动的结果和反馈，学习和调整行动方式，它必须学习什么是最好的策略从而随着时间推移能获得最大回报。如AlphaGo内部的算法。现在无人驾驶，机器人等都是这种方式进行学习。监督学习和半监督学习依然是增强学习的基础。

机器学习步骤

通常学习一个好的函数，分为以下三步：
1、选择一个合适的模型，这通常需要依据实际问题而定，针对不同的问题和任务需要选取恰当的模型，模型就是一组函数的集合。
2、判断一个函数的好坏，这需要确定一个衡量标准，也就是我们通常说的损失函数（Loss Function），损失函数的确定也需要依据具体问题而定，如回归问题一般采用欧式距离，分类问题一般采用交叉熵代价函数。
3、找出“最好”的函数，如何从众多函数中最快的找出“最好”的那一个，这一步是最大的难点，做到又快又准往往不是一件容易的事情。常用的方法有梯度下降算法，最小二乘法等和其他一些技巧。
学习得到“最好”的函数后，需要在新样本上进行测试，只有在新样本上表现很好，才算是一个“好”的函数。

参考文献

吴恩达机器学习
李宏毅机器学习
孙玉林 余本国 《PyTorch深度学习入门与实战》