主要内容
• 机器学习的概念
• 机器学习主要分类
• 监督学习三要素
• 监督学习模型评估策略
• 监督学习模型求解算法
一、机器学习的概念
• 机器学习是什么
• 机器学习的开端
• 机器学习的定义
• 机器学习的过程
• 机器学习示例
机器学习是什么
• 什么是学习
–从人的学习说起
–学习理论;从实践经验中总结
–在理论上推导;在实践中检验
–通过各种手段获取知识或技能的过程
• 机器怎么学习?
–处理某个特定的任务,以大量的“经验”为基础
–对任务完成的好坏,给予一定的评判标准
–通过分析经验数据,任务完成得更好了
机器学习的定义
• 机器学习(Machine Learning, ML) 主要研究计算机系统对于特定任务的性能,逐步进行改善的算法和统计模型。
• 通过输入海量训练数据对模型进行训练,使模型掌握数据所蕴含的潜在规律,进而对新输入的数据进行准确的分类或预测。
• 是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸优化、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
机器学习的过程
二、机器学习的分类
• 机器学习的主要分类
• 无监督学习
• 无监督学习应用
• 监督学习
• 监督学习应用
机器学习主要分类
• 有监督学习:提供数据并提供数据对应结果的机器学习过程。
• 无监督学习:提供数据并且不提供数据对应结果的机器学习过程。
• 强化学习:通过与环境交互并获取延迟返回进而改进行为的学习过程。
监督学习和无监督学习
无监督学习
• 无监督学习(Unsupervised Learning)算法采用一组仅包含输入的数据,通过寻找数据中的内在结构来进行样本点的分组或聚类。
• 算法从没有被标记或分类的测试数据中学习。
• 无监督学习算法不是响应反馈,而是要识别数据中的共性特征;对于一个新数据,可以通过判断其中是否存在这种特征,来做出相应的反馈。
• 无监督学习的核心应用是统计学中的密度估计和聚类分析。
无监督学习应用
《统计学习方法》
监督学习
• 监督学习(Supervised Learning)算法构建了包含输入和所需输出的一组数据的数学模型。这些数据称为训练数据,由一组训练样本组成。
• 监督学习主要包括分类和回归。
• 当输出被限制为有限的一组值(离散数值)时使用分类算法;当输出可以具有范围内的任何数值(连续数值)时使用回归算法。
• 相似度学习是和回归和分类都密切相关的一类监督机器学习,它的目标是使用相似性函数从样本中学习,这个函数可以度量两个对象之间的相似度或关联度。它在排名、推荐系统、视觉识别跟踪、人脸识别等方面有很好的应用场景。
监督学习应用
• 预测房价或房屋出售情况
三、监督学习深入介绍
• 监督学习三要素
• 监督学习实现步骤
• 监督学习模型评估策略
• 分类和回归
• 监督学习模型求解算法
监督学习三要素
监督学习实现步骤
• 得到一个有限的训练数据集
• 确定包含所有学习模型的集合
• 确定模型选择的准则,也就是学习策略
• 实现求解最优模型的算法,也就是学习算法
• 通过学习算法选择最优模型
• 利用得到的最优模型,对新数据进行预测或分析
监督学习过程示例
损失函数
• 损失函数用来衡量模型预测误差的大小。
• 定义:选取模型 f 为决策函数,对于给定的输入参数 X,f(X) 为预测结果, Y 为真实结果;f(X) 和 Y 之间可能会有偏差,我们就用一个损失函数(loss function)来度量预测偏差的程度,记作 L(Y,f(X))
• 损失函数是系数的函数
• 损失函数值越小,模型就越好
损失函数
经验风险
训练误差和测试误差
过拟合
• 把训练数据学习的太彻底,以至于把噪声数据的特征也学习到了,特征集过大,这样就会导致在后期测试的时候不能够很好地识别数据,即不能正确的分类,模型泛化能力太差,称之为过拟合(over-fitting)。
• 例如,想分辨一只猫,给出了四条腿、两只眼、一条尾巴、叫声、颜色,能够捕捉老鼠、喜欢吃鱼、… …,然后恰好所有的训练数据的猫都是白色,那么这个白色是一个噪声数据,会干扰判断,结果模型把颜色是白色也学习到了,而白色是局部样本的特征,不是全局特征,就造成了输入一个黑猫的数据,判断出不是猫。
模型的选择
正则化
奥卡姆剃刀
交叉验证
• 数据集划分
–如果样本数据充足,一种简单方法是随机将数据集切成三部分:训练集(training set)、验证集(validation set)和测试集(test set)
–训练集用于训练模型,验证集用于模型选择,测试集用于学习方法评估
• 数据不充足时,可以重复地利用数据——交叉验证(cross validation)
• 简单交叉验证
–数据随机分为两部分,如70%作为训练集,剩下30%作为测试集
–训练集在不同的条件下(比如参数个数)训练模型,得到不同的模型
–在测试集上评价各个模型的测试误差,选出最优模型
• S折交叉验证
–将数据随机切分为S个互不相交、相同大小的子集;S-1个做训练集,剩下一个做测试集
–重复进行训练集、测试集的选取,有S种可能的选择
• 留一交叉验证
分类和回归
• 监督学习问题主要可以划分为两类,即 分类问题 和 回归问题
–分类问题预测数据属于哪一类别。 —— 离散
–回归问题根据数据预测一个数值。 —— 连续
• 通俗地讲,分类问题就是预测数据属于哪一种类型,就像上面的房屋出售预测,通过大量数据训练模型,然后去预测某个给定房屋能不能出售出去,属于能够出售类型还是不能出售类型。
• 回归问题就是预测一个数值,比如给出房屋一些特征,预测房价
• 如果将上面的房屋出售的问题改为预测房屋出售的概率,得到的结果将不再是可以售出(1)和不能售出(0),将会是一个连续的数值,例如 0.5,这就变成了一个回归问题
分类问题
精确率和召回率
• 评价分类器性能的指标一般是分类准确率(accuracy),它定义为分类器对测试集正确分类的样本数与总样本数之比
• 对于二类分类问题,常用的评价指标是精确率(precision)与召回率(recall)
• 通常以关注的类为正类,其它为负类,按照分类器在测试集上预测的正确与否,会有四种情况出现,它们的总数分别记作:
–TP:将正类预测为正类的数目
–FN:将正类预测为负类的数目
–FP:将负类预测为正类的数目
–TN:将负类预测为负类的数目
精确率和召回率
回归问题
回归问题
• 回归问题的分类
–按照输入变量的个数:一元回归和多元回归
–按照模型类型:线性回归和非线性回归
• 回归学习的损失函数 —— 平方损失函数
• 如果选取平方损失函数作为损失函数,回归问题可以用著名的 最小二乘法(least squares)来求解
模型求解算法(学习算法)
• 梯度下降算法
• 牛顿法和拟牛顿法
梯度下降算法
• 梯度下降(gradient descent)是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一
• 梯度方向:函数变化增长最快的方向(变量沿此方向变化时函数增长最快)
• 负梯度方向:函数变化减少最快的方向(变量沿此方向变化时函数减少最快)
• 损失函数是系数的函数,那么如果系数沿着损失函数的负梯度方向变化,此时损失函数减少最快,能够以最快速度下降到极小值
梯度下降算法
梯度下降算法
•比如我们在一座大山上的某处位置,由于我们不知道怎么下山,于是决定走一步算一步,也就是在每走到一个位置的时候,求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去,一直走到觉得我们已经到了山脚。当然这样走下去,有可能我们不能走到山脚,而是到了某一个局部的山谷处。
•从上面的解释可以看出,梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解
•如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解