机器学习算法
prupcognition
学习学习再学习,需要找到好的学习方法
展开
-
拉格郎日函数
1:拉格郎日函数对于问题:min f0(x)min \ f_0(x)min f0(x)fi(x)≤0 i=1,2...,nf_i(x) \leq 0 \ i=1,2...,nfi(x)≤0 i=1,2...,nhi(x)≤0 i=1,2...,nh_i(x) \leq 0 \ i=1,2...,nhi(x)≤0 i=1,2....原创 2019-09-27 14:46:38 · 218 阅读 · 0 评论 -
白板推导2-高斯分布
令data:X=(x1 x2 ... xp)Tdata:X=(x_1 \ x_2 \ ... \ x_p)^Tdata:X=(x1 x2 ... xp)Txi∈Rpx_i \in R^pxi∈Rpxi 服从N(μ,σ2)x_i \ 服从 \quad N(\mu,\sigma^2)xi 服从N(μ,σ2...原创 2020-03-05 14:01:49 · 126 阅读 · 0 评论 -
白板推导1-频率派vs贝叶斯派
数据表示X:表示样本数据:{x1 x2 ... xn}T\{x_1\ x_2 \ ... \ x_n\}^T{x1 x2 ... xn}T,其中xi是p维的x_i 是p维的xi是p维的,整体样本是n∗p维n*p维n∗p维也可以表示为:[x11x12x13...x1px21x22x23...x2px31x32x33...x...原创 2020-01-15 19:03:58 · 81 阅读 · 0 评论 -
指数族分布和最大熵模型
最大熵原理是概率模型学习的一个准则.最大熵原理认为,学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型信息量公式I(x)=log1p(x)=−logp(x)I(x)=\log\frac{1}{p(x)}=-\log p(x)I(x)=logp(x)1=−logp(x)信息熵是信息量的期望H(x)=E[I(x)]=−∑p(x)logp(x)H(x)=E[I(x...原创 2020-03-04 09:46:37 · 713 阅读 · 0 评论 -
EM算法
EM算法是处理有隐变量的情况下使用的方法步骤:建立对数目标似然函数L(θ)=∑i=1logp(x∣θ)L(\theta)=\sum_{i=1}\log p(x|\theta)L(θ)=∑i=1logp(x∣θ)这里表示样本x服从概率为p(x)的某种分布,θ为分布的参数表示样本x服从概率为p(x)的某种分布,\theta为分布的参数表示样本x服从概率为p(x)的某种分布,θ为分布的参...原创 2020-02-27 11:48:25 · 123 阅读 · 0 评论 -
SVM(支持向量机)
svm分类:硬间隔 svm(hard margin)软间隔 svm(soft margin)核间隔 svm(kernal margin)特点:SVM 有三宝:间隔,对偶,核技巧硬间隔svm 函数形式y=sign(wTx+b),当wTx+b>0时,y=1,wTx+b<0时,y=−1y=sign(w^Tx+b),当w^Tx+b > 0时,y=...原创 2020-05-11 12:07:55 · 104 阅读 · 0 评论 -
MCMC
概念:MCMC指的是马尔科夫链蒙特卡罗(Markov Chain Monte Carlo)属于近似推断中的随机推断类别蒙特卡罗方法蒙特卡罗原来是一个赌场的名称,用它作为名字大概是因为蒙特卡罗方法是一种随机模拟的 方法,这很像赌博场里面的扔骰子的过程。最早的蒙特卡罗方法都是为了求解一些不太好求解的求和或者积分问题。比如积分:θ=∫abf(x)dx\theta = \int_a^b f(x)...原创 2019-08-12 11:26:11 · 94 阅读 · 0 评论 -
HMM(隐马尔可夫模型)
HMM(隐马尔科夫模型)记住一,二,三:一:一个参数模型:λ=(π,A,B)\lambda =(\pi,A,B)λ=(π,A,B)其中π是初始概率向量\pi 是初始概率向量π是初始概率向量也就是z1,z2,..znz_1,z_2,..z_nz1,z2,..zn初始时候的概率是多少π={p1,p2,p3,...pn}\pi =\{p_1,p_2,p_3,...p_n\}π={p1...原创 2020-03-02 13:22:30 · 188 阅读 · 0 评论 -
卡尔曼滤波
1:卡尔曼滤波是一种动态线性模型,属于推断(inference)中的一种,针对的也是有隐状态 和观测状态的模型,和HMM不同的是:卡尔曼滤波不要求隐状态是离散的,并且前一个状态和后一个状态满足线性关系,并且噪声服从正态分布前提条件也符合HMM的前提假设条件:齐次马尔科夫假设观测独立假设卡尔曼滤波贝叶斯公式:p(zt∣x1,x2,..xt)p(z_t|x_1,x_2,..x_t)p...原创 2020-06-11 14:10:10 · 246 阅读 · 0 评论 -
概率图模型 1(贝叶斯网络)
概率图:这里的图是一种工具,用图的方式来表示概率,更加直观按照表现方式分类:概率图={有向图:代表:贝叶斯网络无向图:代表:马尔科夫网络概率图=\begin{cases} 有向图:\quad 代表:贝叶斯网络\\ 无向图: \quad 代表:马尔科夫网络\end{cases}概率图={有向图:代表:贝叶斯网络无向图:代表:马尔科夫网络按照推断问题可分为:infere...原创 2019-08-21 11:57:36 · 143 阅读 · 0 评论 -
概率图模型2(马尔科夫网络)
马尔科夫网络属于无向图模型条件独立性体现在三个方面:条件独立性:{全局:XA⊥XB∣XC局部:xi⊥xi−nb∣xnb给定xi的邻居xnb情况下,xi独立于xi的非邻居成对:xi⊥xj∣x−i,j给定所有非xi和xj情况下,xi独立于xj条件独立性:\begin{cases} 全局:\quad X_A \bot X_B |X_C\\ 局部: \quad x_i \bot x_...原创 2019-08-21 16:58:24 · 217 阅读 · 0 评论 -
粒子滤波(particle filter)
粒子滤波也属于动态模型中的一种,但是隐变量之间的关系不在是线性的关系,而是满足一定的高次函数关系:状态方程:zt=f(zt−1,ut,εt)z_t = f(z_{t-1},u_t,\varepsilon_t)zt=f(zt−1,ut,εt)观测方程:xt=h(zt,δt)x_t=h(z_{t},\delta_t)xt=h(zt,δt)由于是非线性函数关系,所以很难直接计算后验...原创 2019-08-14 14:05:39 · 354 阅读 · 0 评论 -
概率图模型3(置信传播BP)
1:马尔科夫无向图在 上面的无向图中,我们有观测变量和隐变量,是一种较简单的马尔科夫结构,3个观测变量y,3个隐藏变量x,通过因子图的方式联合概率可以写为:p(x1,x2,x3,y1,y2,y3)=ϕ(x1,x2)ϕ(x2,x3)ψ(x1,y1)ψ(x2,y2)ψ(x3,y3)p(x_1,x_2,x_3,y_1,y_2,y_3)=\phi(x_1,x_2)\phi(x_2,x_3)\psi...原创 2019-08-22 14:45:24 · 389 阅读 · 0 评论 -
概率图模型 4(变分推断)
变分推断属于近似推断令X是观测变量,Z是隐变量,θ是参数X 是观测变量,Z 是隐变量, \theta 是参数X是观测变量,Z是隐变量,θ是参数根据贝叶斯公式有p(x)=p(x,z)p(z∣x)p(x)=\frac{p(x,z)}{p(z|x)}p(x)=p(z∣x)p(x,z)在给定参数θ\thetaθ情况下:p(x∣θ)=p(x,z∣θ)p(z∣x,θ)p(x|\theta)=\fr...原创 2019-09-09 14:57:27 · 252 阅读 · 0 评论 -
条件随机场
一:回顾从HMM(隐马尔科夫)模型到MEMM(最大熵马尔科夫)模型HMM是生成式模型,也就是基于联合概率建模,其中参数有λ=(π,A,B)\lambda=(\pi,A,B)λ=(π,A,B)两种前提假设:1:齐次马尔科夫假设2:观测独立假设建模对象:P(X,Y∣λ)=∏tp(xt,yt∣λ)P(X,Y|\lambda)=\prod_t p(x_t,y_t|\lambda)P(X,Y...原创 2020-03-03 11:56:14 · 79 阅读 · 0 评论 -
线性回归
一般使用最小二乘法处理线性回归问题线性函数f(x)=x1θ1+x2θ2+...+xnθn+bf(x) =x_1\theta_1+x_2\theta_2+...+x_n\theta_n+bf(x)=x1θ1+x2θ2+...+xnθn+b令:L(θ)=∑i=1(f(xi)−yi)2L(\theta) =\sum_{i=1}(f(x^i)-y^i)^2L(θ)=∑i=1(f(x...原创 2019-09-20 16:57:30 · 54 阅读 · 0 评论 -
高斯判别分析
高斯判别分析(Gaussian discriminative analysis)属于概率生成式模型,并不是直接计算p(y|x)的概率,而是基于bayes,比较p(y=1|x)和p(y=0|x)的大小,从而确定分类贝叶斯公式:p(y∣x)=p(x∣y)p(y)p(x)p(y|x)=\frac {p(x|y)p(y)}{p(x)}p(y∣x)=p(x)p(x∣y)p(y)p(x)项和p(y)没...原创 2019-09-23 17:49:23 · 206 阅读 · 0 评论