机器学习之数学基础

1、机器学习的分类
在这里插入图片描述
2、得分函数
如图,经过一系列的计算,最后得到的概率值就叫得分函数。这里的w为权重,而怎么得到权重是我们算法的核心目标。得分函数就是对于给定的一个输入,通过计算,得到这个输入属于每种类别的得分。绝大多数机器学习目标希望得到的模型与算法,实际上就是我们的得分函数。
在这里插入图片描述
3、损失函数
上述说到w权重值,而权重值怎么求,则需要用到损失函数。损失函数的定义是:衡量模型模型预测的好坏。即损失函数就是用来表现预测与实际数据的差距程度。损失函数越小,模型就越好。我们希望的便是找到一个得分函数使得其损失函数是最小的,而最小值所对应的得分函数,或者是得分函数对应的里面的权重(这里用θ表示),这个θ就是我们期望的最好的机器学习算法的结果。对于凸函数,求损失函数的最小值可用梯度下降法(下面会介绍)。
在这里插入图片描述
4、夹逼定理
在这里插入图片描述
5、导数
在这里插入图片描述
6、泰勒公式
在这里插入图片描述
7、方向导数
在这里插入图片描述
8、梯度
在这里插入图片描述
梯度下降法:梯度下降法(gradient decent)是一个最优化算法,通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。梯度下降法的序列:在这里插入图片描述
除了梯度下降法,还有牛顿法也可求用于求局部极值。定义为:在这里插入图片描述
牛顿法与梯度下降法的区别:
在这里插入图片描述
9、凸函数
在上述介绍中我们涉及到过凸函数,下面我们来看看凸函数的简介。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
10、琴声不等式在这里插入图片描述

概率论版本:![在这里插入图片描述](https://img-blog.csdnimg.cn/20200908163932530.png#pic_center)

11、常见概率分布
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
12、概率
在这里插入图片描述
注:贝叶斯分类器:贝叶斯分类器是一类分类算法的总称,贝叶斯定理是这类算法的核心,因此统称为贝叶斯分类。贝叶斯决策论通过相关概率已知的情况下利用误判损失来选择最优的类别分类。
13、方差
在这里插入图片描述
14、期望
在这里插入图片描述
15、协方差
协方差可以写成期望的形式,可以评价两个随机变量的线性关系。在这里插入图片描述
在这里插入图片描述
X与Y的协方差除以X与Y的标准差得到相关系数
在这里插入图片描述
16、SVD
SVD是机器学习中非常重要的降维算法。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值