机器学习必知必会
TOMOCAT
知乎可私信: TOMOCAT
展开
-
[机器学习必知必会]凸优化
定义凸优化问题OPT,convex optimization problem,指定义在凸集中的凸函数最优化的问题。尽管凸优化的条件比较苛刻,但仍然在机器学习领域有十分广泛的应用。凸优化问题的优势凸优化问题的局部最优解就是全局最优解很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题(例如拉格朗日对偶问题)凸优化问题的研究较为成熟,当一个具体被归为一个凸优化问题,基本可以确定该...原创 2020-03-04 11:15:13 · 1118 阅读 · 0 评论 -
[机器学习必知必会]什么是机器学习,如何入门?
概念:人工智能与机器学习[1]人工智能涵盖了其他所有概念,而机器学习是人工智能的一个子方向,深度学习又是机器学习中的一类方法。至于机器视觉和自然语言处理,它们是人工智能领域的两个应用,而且往往会用到深度学习。Tom Mitchell将机器学习任务定义为任务Task、训练过程Training Experience和模型性能Performance三个部分。以分单引擎为例,我们可以将提高分单...原创 2020-02-02 01:24:47 · 369 阅读 · 0 评论 -
[机器学习必知必会]集成学习Boosting、Boostrap和Bagging算法介绍
集成学习算法简介: (1)原理:集成学习在机器学习算法中具有较高的准去率,不足之处就是模型的训练过程可能比较复杂,效率不是很高。目前接触较多的集成学习主要有2种:基于Boosting的和基于Bagging,前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。集成学习的主要思想是利用一定的手段学习出多个分类器,而且这多个分类器要求是弱分类...原创 2018-06-04 14:20:15 · 29745 阅读 · 0 评论 -
[机器学习必知必会]泛化误差率的偏差-方差分解
一、期望泛化误差的偏差-方差分解偏差-方差分解试图对机器学习算法的期望泛化误差率进行拆解。记为测试样本,为训练集D上学习得到的模型在上的预测输出,为在数据集中的标记,为的真实标记。对算法的期望泛化误差进行分解:得到:即泛化误差可分解为偏差、方差与噪声之和。其中偏差度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力;方差度量了同样大小的训练集的变...原创 2018-08-12 19:56:52 · 30781 阅读 · 2 评论 -
[机器学习必知必会]全局最小与局部极小
梯度法众所周知,基于梯度的搜索是使用最为广泛的参数寻优方法。在此类方法中,我们从某些初始解出发,迭代寻找最优参数值。每次迭代中,我们先计算误差函数在当前点的梯度,然后根据梯度确定搜索方向。例如由于负梯度方向是函数值下降最快的方向,因此梯度下降法就是沿着负梯度方向搜索最优解。若误差函数在当前点的梯度为零,则已达到局部最小,更新量为零,参数的迭代更新停止。缺陷:当误差函数具有多个局部最小,...原创 2018-09-07 09:50:52 · 30311 阅读 · 0 评论 -
[机器学习必知必会]拉格朗日法及其对偶问题
了解一些简单的数学概念首先看一个二元函数(再复杂一点的函数就很难直观地呈现出来)的三维图像和对应的等高线,其中函数表达式为z=x2+y2z=x^2+y^2z=x2+y2:从导数到偏导数对于一个一元函数而言,导数的定义想必大家都很清楚,具体的表达式为:f′(x)=lim△x→0f(x+△x)−f(x)△x=lim△x→0f(x)−f(x−△x)△xf'(x)=\li...原创 2019-09-15 01:07:02 · 1351 阅读 · 0 评论 -
[机器学习必知必会]牛顿法和拟牛顿法
前言同梯度下降法一样,牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法。牛顿法本身属于迭代算法,每一步需要求解目标函数的海赛矩阵的逆矩阵,计算比较复杂。拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵,简化了这一计算过程。需要提前了解的知识泰勒展开当f(x)f(x)f(x)在x=x0x=x_0x=x0处具有nnn阶连续导数,我们可以用x−x0x-x_0x−x0的nnn次多项式逼近...原创 2019-09-07 23:18:43 · 729 阅读 · 0 评论 -
[机器学习必知必会]损失函数与风险函数
引入我们需要一定的准则来评估不同机器学习模型的优劣,这就引申出损失函数和风险函数。损失函数:评估模型单次预测的好坏风险函数:度量平均意义下模型的好坏损失函数的定义监督学习是在假设空间FFF中选取模型fff作为决策函数,对于给定的输入XXX,由f(X)f(X)f(X)给出相应的输出YYY,用损失函数来衡量预测值f(X)f(X)f(X)和真实值YYY之间的差距,它是一个非负实值函数,记作L(...原创 2019-06-09 10:36:44 · 779 阅读 · 0 评论 -
[机器学习必知必会]交叉验证
前言当我们根据数据训练出一个机器学习模型时,我们希望它在新的数据上也保持较高的准备率,这就需要我们对学习到的不同模型有一个模型评估准则。为了评估模型的泛化性能(指模型在未知数据上的预测能力),防止模型落入“过拟合”的陷进。我们人为地将原始数据划分为训练集和测试集,前者用于训练模型,后者用于评估模型的泛化性能。训练集、验证集和测试集在监督学习建模中,数据集常被划分为2~3组(验证集有时候...原创 2019-06-08 22:17:47 · 930 阅读 · 0 评论 -
[机器学习必知必会]正则化和范数
写在前头本文格式略微有些乱码,为不妨碍阅读,可以查看我在头条上写的原文:https://www.toutiao.com/i6650364324176986637/正则化综述机器学习中经常会在损失函数中加入正则项,称之为正则化(Regularize)。目的:防止模型过拟合原理:在损失函数上加上某些规则(限制),缩小解空间,从而减少求出过拟合解的可能性例子:以最简单的线...原创 2019-03-04 16:01:12 · 18162 阅读 · 0 评论