基础数学
prupcognition
学习学习再学习,需要找到好的学习方法
展开
-
线性回归
一般使用最小二乘法处理线性回归问题线性函数f(x)=x1θ1+x2θ2+...+xnθn+bf(x) =x_1\theta_1+x_2\theta_2+...+x_n\theta_n+bf(x)=x1θ1+x2θ2+...+xnθn+b令:L(θ)=∑i=1(f(xi)−yi)2L(\theta) =\sum_{i=1}(f(x^i)-y^i)^2L(θ)=∑i=1(f(x...原创 2019-09-20 16:57:30 · 54 阅读 · 0 评论 -
HMM(隐马尔可夫模型)
HMM(隐马尔科夫模型)记住一,二,三:一:一个参数模型:λ=(π,A,B)\lambda =(\pi,A,B)λ=(π,A,B)其中π是初始概率向量\pi 是初始概率向量π是初始概率向量也就是z1,z2,..znz_1,z_2,..z_nz1,z2,..zn初始时候的概率是多少π={p1,p2,p3,...pn}\pi =\{p_1,p_2,p_3,...p_n\}π={p1...原创 2020-03-02 13:22:30 · 188 阅读 · 0 评论 -
MCMC
概念:MCMC指的是马尔科夫链蒙特卡罗(Markov Chain Monte Carlo)属于近似推断中的随机推断类别蒙特卡罗方法蒙特卡罗原来是一个赌场的名称,用它作为名字大概是因为蒙特卡罗方法是一种随机模拟的 方法,这很像赌博场里面的扔骰子的过程。最早的蒙特卡罗方法都是为了求解一些不太好求解的求和或者积分问题。比如积分:θ=∫abf(x)dx\theta = \int_a^b f(x)...原创 2019-08-12 11:26:11 · 94 阅读 · 0 评论 -
粒子滤波(particle filter)
粒子滤波也属于动态模型中的一种,但是隐变量之间的关系不在是线性的关系,而是满足一定的高次函数关系:状态方程:zt=f(zt−1,ut,εt)z_t = f(z_{t-1},u_t,\varepsilon_t)zt=f(zt−1,ut,εt)观测方程:xt=h(zt,δt)x_t=h(z_{t},\delta_t)xt=h(zt,δt)由于是非线性函数关系,所以很难直接计算后验...原创 2019-08-14 14:05:39 · 354 阅读 · 0 评论 -
概率图模型 1(贝叶斯网络)
概率图:这里的图是一种工具,用图的方式来表示概率,更加直观按照表现方式分类:概率图={有向图:代表:贝叶斯网络无向图:代表:马尔科夫网络概率图=\begin{cases} 有向图:\quad 代表:贝叶斯网络\\ 无向图: \quad 代表:马尔科夫网络\end{cases}概率图={有向图:代表:贝叶斯网络无向图:代表:马尔科夫网络按照推断问题可分为:infere...原创 2019-08-21 11:57:36 · 143 阅读 · 0 评论 -
概率图模型 4(变分推断)
变分推断属于近似推断令X是观测变量,Z是隐变量,θ是参数X 是观测变量,Z 是隐变量, \theta 是参数X是观测变量,Z是隐变量,θ是参数根据贝叶斯公式有p(x)=p(x,z)p(z∣x)p(x)=\frac{p(x,z)}{p(z|x)}p(x)=p(z∣x)p(x,z)在给定参数θ\thetaθ情况下:p(x∣θ)=p(x,z∣θ)p(z∣x,θ)p(x|\theta)=\fr...原创 2019-09-09 14:57:27 · 252 阅读 · 0 评论 -
高斯判别分析
高斯判别分析(Gaussian discriminative analysis)属于概率生成式模型,并不是直接计算p(y|x)的概率,而是基于bayes,比较p(y=1|x)和p(y=0|x)的大小,从而确定分类贝叶斯公式:p(y∣x)=p(x∣y)p(y)p(x)p(y|x)=\frac {p(x|y)p(y)}{p(x)}p(y∣x)=p(x)p(x∣y)p(y)p(x)项和p(y)没...原创 2019-09-23 17:49:23 · 206 阅读 · 0 评论 -
白板推导1-频率派vs贝叶斯派
数据表示X:表示样本数据:{x1 x2 ... xn}T\{x_1\ x_2 \ ... \ x_n\}^T{x1 x2 ... xn}T,其中xi是p维的x_i 是p维的xi是p维的,整体样本是n∗p维n*p维n∗p维也可以表示为:[x11x12x13...x1px21x22x23...x2px31x32x33...x...原创 2020-01-15 19:03:58 · 81 阅读 · 0 评论 -
信息熵
1: 信息量函数想要用一个函数衡量事件的信息量大小该函数需要满足三个特征1):和事件发生的概率成反比(发生的概率越低,信息量就越大)2):要满足两个事件同时发生时获得的信息量应该等于观察到事件各自发生时获得的信息之和f(x,y)=f(x)+f(y)3):信息量函数要 > 0构造满足上述条件的信息量函数为I(x)=log1p(x)=−logp(x)I(x) =\log \fr...原创 2020-03-26 17:42:56 · 107 阅读 · 0 评论 -
牛顿法
牛顿法和梯度下降法是局部极值求法牛顿法求极值对函数f(x)进行泰勒展开这里把前三项看作关于Δx的二次函数g(Δx),对该函数求导获得函数的极值点有\Delta_x 的二次函数g(\Delta_x ),对该函数求导获得函数的极值点有Δx的二次函数g(Δx),对该函数求导获得函数的极值点有f′′(x0)Δx+f′(x0)=0f''(x_0)\Delta...原创 2020-09-01 10:19:06 · 230 阅读 · 0 评论