机器学习数学基础——概率论与贝叶斯先验

最新推荐文章于 2021-02-18 16:14:16 发布
最新推荐文章于 2021-02-18 16:14:16 发布
阅读量932 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习数学基础——概率论与贝叶斯先验
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41511262/article/details/102650322
版权

文章目录

机器学习数学基础——概率论与贝叶斯先验

一、引入

在这里插入图片描述
代码:在这里插入图片描述在这里插入图片描述
在这里插入图片描述
应用：商品推荐
在这里插入图片描述
解决办法：
在这里插入图片描述
公路堵车模型：
在这里插入图片描述
在这里插入图片描述

二、概率公式

在这里插入图片描述
贝叶斯公式的应用
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191020202016231.png?x-oss-
在给定一些样本的条件下，求事件θ的发生概率
在这里插入图片描述

三、分布

(一)两点分布（离散的）

在这里插入图片描述

（二）二项分布Bernoulli distribution（离散的）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（三）考察Taylor展式（离散的）

在这里插入图片描述

（四）泊松分布Poisson distribution(离散的)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（五）均匀分布（连续的）

在这里插入图片描述

（六）指数分布（连续的）

在这里插入图片描述
在这里插入图片描述
指数分布的无记忆性
在这里插入图片描述

（七）正态分布

在这里插入图片描述
在这里插入图片描述
二元正态分布图
在这里插入图片描述

（八）总结在这里插入图片描述

（九）Beta分布

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（十）Bernoulli分布

在这里插入图片描述
在这里插入图片描述
Sigmoid/Logistic函数
在这里插入图片描述
Sigmoid函数的导数
在这里插入图片描述

（十一）Gaussian分布

在这里插入图片描述

四、事件的独立性

在这里插入图片描述

（一）不同数据类型期望的定义方法

在这里插入图片描述

（二）期望的性质

在这里插入图片描述

（三）例子

计算期望
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
集合Hash问题
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、方差

在这里插入图片描述

六、协方差

在这里插入图片描述

（一）协方差的意义

在这里插入图片描述

（二）协方差的上界

在这里插入图片描述

（三）协方差上界定理的证明

在这里插入图片描述

（四）Pearson相关系数

在这里插入图片描述

（五）代码

在这里插入图片描述

七、协方差矩阵

在这里插入图片描述

八、切比雪夫不等式在这里插入图片描述

九、大数定律

在这里插入图片描述

（一）大数定律的意义

在这里插入图片描述

(二)重要推论（事件发生的频率只要这个事件足够多，这个事件的频率无相接近其概率）

在这里插入图片描述

十、中心极限定理

在这里插入图片描述

（一）中心极限定理的意义

在这里插入图片描述
在这里插入图片描述

山复尔尔，
关注
专栏目录
深度学习数学基础——概率论与信息论
白话机器学习
10-06 63
概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明statement）的公理。概率论的知识在机器学习和深度学习领域都有广泛应用，是学习这两门学科的基础。条件概率（）就是事件 A 在事件 B 发生的条件下发生的概率。条件概率表示为PA∣BP(A|B)PA∣B，读作“A 在 B 发生的条件下发生的概率”。联合概率表示两个事件共同发生的概率。A与B的联合概率表示为PA∩BP(A\cap B)PA∩B或者PAB。
机器学习中的数学知识——概率论
Daisy_HJL的博客
09-22 836
一、随机变量 1、概率密度函数 二、高斯分布（最美分布） 1、一元概率密度 2、多远概率密度 3、中心极限定理 独立同分布的随机变量，求和以后，依概率收敛于高斯分布。一些杂乱无章的情况，加起来却服从高斯分布。 三、贝叶斯公式（机器学习中最重要的公式） 通 常 ， P ( A | B )
机器学习（2）：概率论与贝叶斯先验
xuena_xiaoming的博客
03-18 1048
概率论在机器学习中占有一定的份量，单纯的概率论是比较枯燥的，这节我们先从一个有趣的例子着手，引入生活中概率的应用，然后回顾经典的常用的概率公式、概率分布，由基本的概率分布引入机器学习常用的指数族分布。其次由事件的相关、不相关、独立，引入协方差矩阵。然后简单介绍切比雪夫不等式、大数定律和中心极限定理。最后引入最大似然。
机器学习——数学基础（一）
qq_41511262的博客
10-20 581
机器学习----数学基础（一） 一、机器学习与数学分析 （一）什么是机器学习？ （二）机器学习的内涵与与外延 第一步： 第二步： （一）机器学习的一般流程 （二）机器学习如何发现新词？ （三）Python Code实例1 （四）Python Code实例2 做0到1的均匀分布，取得10000个样本点，做中心极限定理的验证，x1、x2…xn是均匀分布，(x1+x2+…+xn)/n...
数学基础（4）参数估计与矩阵运算基础
Techblog of HaoWANG
03-07 1534
Table of Contents 期望 期望的性质 ​ 方差 协方差 协方差的意义 协方差和独立、不相关 协方差的上界 相关系数 N维协方差阵 矩 统计参数的总结 偏度 切比雪夫不等式 大数定理 伯努利定理 中心极限定理 样本的统计量 样本的矩 矩估计 极大似然估计 期望 期望的性质 独立事件：P（AB）=P(A)xP(B) ...
协方差，协方差矩阵，相关系数
outsider
05-26 2万+
1.协方差定义：    X,Y为两个随机变量，则它们的协方差值为：    这个公式的推导很简单，在特定的样本数据下，E(X),E(Y)都是常值，又由方差的性质E(A+B)=E(A)+E(B)可以展开为:Cov(X,Y) = E(XY+E[X]E[Y]-E[X]Y-E[Y]X)              =E(XY)+E(E[X]E[Y])-E(E[X]Y)-E(E[Y]X)            ...
重要的统计量（期望、方差、协方差、相关系数、矩）的概念和性质
Answer3664的博客
07-23 8111
一、期望 1、定义 在概率论和统计学中，数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。 离散型： 连续型 即：概率加权下的“平均值”。 2、无条件成立 ...
机器学习数学增强-概率论与贝叶斯先验
weixin_46311892的博客
06-15 711
1、统计数字的概率 “九点分布”：给定某正整数N，统计1到N！所有数中，首位数字出现1的概率。 def first_digital(x): While x>=10: x /= 10 return x if __name__=="__main__": n=1 frequency = ［0］*9 for i in range(1,1000): n *=i m = first digital(n)-1
算法数学基础：概率论与贝叶斯先验
condi1997的博客
03-24 538
目录第一部分：概率论一.概率论基础二.常见概率分布 第一部分：概率论 一.概率论基础 1.概率与直观： 1)本福特定律：又称第一数字定律，指生活中得出的一组数据中，以1为首位数字出现的概率约为总数的三成，是直观想象1/9的三倍。例如阶乘、素数数列、菲波那切数列的首位。 2)假设A为[0,0.8]的随机数，B为[0,0.2]的随机数，A、B服从均匀分布，试求B>A的概率 3)概率公式： 贝叶...
机器学习数学基础——概率论篇
difend的博客
10-30 1822
整理一下机器学习中一些基础必须知道的本科数学概率论与数理统计的知识，耐心点看完会对机器学习中必须要掌握的知识有一点了解，方便后续算法的学习。包括了概率公式、概率分布、大数定理、中心极限定理、矩估计和极大似然估计的内容，希望对你有所帮助
机器学习数学基础之微积分与概率论
01-07
机器学习数学基础之微积分与概率论1. 导数与梯度下降1.1 方向导数1.2 在机器学习的应用2. 基本概率论2.1 条件概率2.2 全概率公式2.3 贝叶斯公式2.4 随机变量2.5 期望2.6 方差3. 分布3.1 伯努利分布3.2 二项分布3.3 ...
机器学习的数学基础.pdf
05-15
其数学基础是实现机器学习算法的关键，包括但不限于概率论、线性代数等。在给定文件中提到了几个关键的数学概念和方法，下面将详细解释这些概念。 首先，高斯分布也称正态分布，是一种非常常见的连续概率分布。它有...
2.数理统计与参数估计
aidway的专栏
05-05 4237
内容简介： A.重要统计量 B.重要定理与不等式 C.参数估计 A.重要统计量 一、概率与统计 概率：已知总体的分布情况，计算事件的概率 统计：总体分布未知，通过样本值估计总体的分布 二、概率统计与机器学习的关系 1.统计估计的是分布，机器学习训练出来的是模型，模型可能包含了多个分布。 2.训练与预测过程的一个核心评价指标是模型的误差。 3.误差可以是概率的形式，
机器学习之数学基础——期望、方差、协方差、相关系数、矩、协方差矩阵
BerMaker
09-16 6259
数学期望 定义 性质 方差 定义 切比雪夫不等式 协方差 定义 性质 协方差的上界 方差和协方差的关系 相关系数 矩协方差矩阵数学期望定义 离散型 E(X) = \sum_{i}^{\infty}{x_k}{p_k} 连续型E(X) = \int_{-\infty}^{\infty}xf(x)dx性质 E[aX+bY]=aE[X]+bE[Y]方差定义D(X)=Var(X)=E\left\{ [X -
斯坦福大学机器学习——误差理论（Error Theory）
热门推荐
linkin1005的专栏
01-09 3万+
一、偏倚（bias）和方差(variance) 在讨论线性回归时，我们用一次线性函数对训练样本进行拟合（如图1所示）；然而，我们可以通过二次多项式函数对训练样本进行拟合（如图2所示），函数对样本的拟合程序看上去更“好”；当我们利用五次多项式函数对样本进行拟合（如图3所示），函数通过了所有样本，成为了一次“完美”的拟合。 图3建立的模型，在训练集中通过x可以很好的预测y，然而
协方差与回归线斜率的联系
莲君
03-13 4801
两随机变量离各自均值距离之积的期望值 1.随机变量之和或之差的期望值等于与各自的期望值之和或之差。 2.期望值的期望值等于期望值本身 3.协方差等于两随机变量积的期望减去期望的积 4.随机变量同自身的协方差等于它自身的方差 用样本值来估计积的期望和期望的积后，协方差恰好等于均值回归斜率的分子部分 分母部分可以写成如下方式，即X与自身的协方差： 所以，拟合回归线的斜率可以看成是两个变量的协方差...
scala上界_Scala方差，上界和下界
从零开始的教程世界
07-09 596
scala上界Variance refers as how subtyping between complex types relates to subtypes of their components. Scala supports variances annotations of type parameters of a generic class. 差异是指复杂类型之间的子类型如何与其组成部...
关于联邦滤波器
罗宾酱的博客
02-18 7581
将联邦滤波器整理如下，但因为可参考的材料太少，所以也并不一定完全正确，仅供参考。 目录： 联邦滤波器 关键技术 一般结构 工作流程 1 联邦滤波器 联邦滤波器：是一种两级滤波器，由1个主滤波器和n个子滤波器组成，子滤波器之间是平行结构。 主滤波器功能：时间更新；(n+1)个滤波器的结果融合； 子滤波器功能：独立的进行时间更新和状态更新/量测更新(可以选择不同的滤波算法)； 2 关键技术 联邦滤波器的关键技术：方差上界消除相关；统一的信息分配原则； 方差上界消除技术： 首先假设子滤波器和主滤波
机器学习中的数学-期望、方差与协方差
qq_14815661的博客
06-22 3361
一. 期望 1.1 期望的性质 无条件成立 E(kX)=kE(X) E(X+Y)=E(X)+E(Y) 若X和Y互相独立 E(XY)=E(X)E(Y) 反之不成立。实际上，若E(XY)=E(X)E(Y)，只能说明X和Y不相关。 1.2 事件的独立性 1.3 计算期望 1.4计算每一位的期望 1.5 集合Hash问题 二. 方差 ...
《机器学习数学基础：概率论与数理统计》全面解读机器学习算法和框架
《机器学习数学基础：概率论与数理统计》是一本涵盖机器学习数学基础的重要书籍。在该书中，作者通过详细阐述概率论和数理统计的基础概念和理论，使读者能够深入了解这些知识在机器学习中的应用。 首先，本书介绍了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值