![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
吃龙虾一样能吃饱
这个作者很懒,什么都没留下…
展开
-
卡尔曼滤波:高斯过程 + 贝叶斯推断
前言PRML中提到,卡尔曼滤波是高斯过程的一种应用,本文便从高斯过程的角度来总结一下卡尔曼滤波;首先明确卡尔曼滤波包括两部分:预测和更新。预测就是根据系统上一时刻的状态x^t−1\hat{x}^{t-1}x^t−1预测当前时刻的状态xtx^{t}xt;更新就是通过当前时刻的观察值ztz^tzt更新当前时刻的状态预测值xtx^{t}xt,作为当前时刻的最优估计x^t\hat{x}^{t}x^t。以此方法迭代。其次明确系统的真实状态是确定的、唯一的,但是!!我们得到的所有估计值都是不确定的,是一个随机变原创 2020-05-10 16:25:04 · 1563 阅读 · 2 评论 -
高斯回归(Gaussian Processes)
1 前言1.1 怎么理解高斯过程?高斯过程和随机过程的关系是什么?高斯分布:随机变量服从高斯分布,意味着在当前时刻,该随机变量可能取的值服从高斯分布,但它只能从分布中取一个!随机过程:在一条时间线上,或一个数据集中,随机变量在每个位置上服从一定的分布,但在每一个位置只能取一个值,假设共有m个时间点(或数据集容量为m),则一共会产生m个取值结果,这m个取值结果便称为一个过程,因为在每一个点的取值是随机的,因此称为随机过程。我们用联合概率分布来描述随机过程:p(x1=t1,x2=t2,...,xm=t原创 2020-05-09 21:16:30 · 3296 阅读 · 1 评论 -
如何理解协方差和协方差矩阵
协方差两个一维随机变量X,YX,YX,Y之间的协方差:cov(X,Y)=∑i=1n(Xi−Xˉ)(Yi−Yˉ)n−1cov(X,Y)=\frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}cov(X,Y)=n−1∑i=1n(Xi−Xˉ)(Yi−Yˉ)协方差的意义:协方差为正,说明两个随机变量呈正相关;协方差为负,说明两个随机...原创 2020-05-07 17:31:30 · 627 阅读 · 0 评论 -
贝叶斯线性回归(贝叶斯学派)
前言极大似然线性回归中,我们使用线性高斯判别模型,似然函数为:p(Y∣X,θ,β)=∏i=1nN(yi∣θTΦ(xi),β−1)p(Y|X,\theta,\beta)=\prod_{i=1}^n\mathcal{N}(y_i|\theta^T\Phi (x_i),\beta^{-1})p(Y∣X,θ,β)=i=1∏nN(yi∣θTΦ(xi),β−1)其中Φ(xi)\Phi (x_i)...原创 2020-05-06 01:42:16 · 2185 阅读 · 0 评论 -
极大似然估计解决线性回归问题(频率学派)
1 前言线性回归问题中,我们使用LSE最小二乘损失函数;而在逻辑回归问题中,我们不能使用LSE损失函数,应该使用交叉熵损失函数,而交叉熵损失函数是由极大似然估计推导而来,推导过程见LR推导;本文讲解如何从极大似然估计的角度解决线性回归问题。本文参考自PRML2 问题定义给定数据集{x1,x2,...,xm}\{x_1,x_2, ...,x_m\}{x1,x2,...,xm...原创 2020-05-03 17:19:41 · 3739 阅读 · 3 评论 -
逻辑回归LR推导
1 问题定义:给定数据集{x1,x2,...,xm}\{x_1,x_2, ...,x_m\}{x1,x2,...,xm}和标签{y1,y2,...,ym}\{y_1,y_2, ...,y_m\}{y1,y2,...,ym},训练一个模型,使得输入新的 xxx,输出对应的标签值。这里数据集 xi∈Rnx_i\in R^nxi∈Rn,标签 yi∈{0,1}y_i\in\{0,1\}y...原创 2020-05-03 15:47:24 · 272 阅读 · 0 评论 -
隐马尔可夫模型HMM整理
概率图模型:描述随机过程的一个工具节点表示随机变量,边表示变量之间的概率关系;分类:马尔可夫模型每个结点的随机变量是可观测的;给定一个随机序列:S:s1,s2,s3...sTS:s_1,s_2,s_3...s_TS:s1,s2,s3...sT,其联合概率分布为:P(s1,s2,s3...sT)=P(s1)⋅P(s2∣s1)⋅P(s3∣s2)⋅⋅⋅⋅P(sT∣sT−1)P...原创 2020-04-29 11:11:54 · 112 阅读 · 0 评论 -
理解判别式模型和生成式模型
1. 我们要做什么:以分类问题为例:给定数据集XXX、数据标签CCC,学习一个模型。我们的目标是给出新的xxx,判断xxx所属的类别。用数学语言来描述,就是求p(c∣x)p(c|x)p(c∣x)的大小。2. 判别式模型:直接对 p(c∣x)p(c|x)p(c∣x) 建模2.1 建立一个xxx到p(c∣x)p(c|x)p(c∣x)的映射例如在逻辑回归问题中,我们使用了sigmoid函数...原创 2020-04-21 15:36:10 · 352 阅读 · 0 评论 -
一表看懂准确率、精确率、召回率、AUC
准确率、精确率、召回率实际值\预测值01080(TN)20(FP)120(FN)80(TP)理解TN,FP,FN,TPTN:正确地True预测成了NegativeFP:错误地False预测成了PositiveFN:错误第False预测成了NegativeTP:正确地True预测成了Positive准确率:提取的正确信息数/样本中的总信息数...原创 2020-04-08 14:12:43 · 722 阅读 · 0 评论