![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 73
hengtao wang
这个作者很懒,什么都没留下…
展开
-
MATLAB信息熵计算方法
%%信息熵计算方法A = imread('222.JPG');[M,N]=size(A);temp=zeros(1,256);for m=1:M; for n=1:N; if A(m,n)==0; i=1; else i=A(m,n); end temp(i)=temp(i)+1; endendtemp=temp/(M*N);result=0;for i=1:length(temp) if temp(i)==0; res原创 2021-04-23 17:51:49 · 9464 阅读 · 2 评论 -
均值滤波Simulink实现
原创 2021-04-22 15:36:22 · 4265 阅读 · 2 评论 -
图像平均梯度计算
%% Load imageclc;close all;clear all;% Load raw image data img = imread('222.JPG');img = im2double(img);imx = [img(:,end,:) - img(:, 1,:),-diff(img,1,2)];imy = [img(end,:,:) - img(1, :,:);-diff(img,1,1)];imnorm = sqrt(imx.^2 + imy.^2);s1 = mean(im原创 2021-04-22 14:47:45 · 2319 阅读 · 1 评论 -
MATLAB图像处理
MATLAB图像处理%灰度转换、噪声、锐化、直方图均衡化处理、边缘检测clear;clc;%读取图像[filename,filepath]=uigetfile({'*.*','*.jpg'},'打开文件');%gui中打开文件filep=strcat(filepath,filename);I=imread(filep);figuresubplot(2,2,1); imshow(I)title('原图');%转换灰度图try I=rgb2gray(I); %如果是RG原创 2021-04-22 09:46:14 · 148 阅读 · 1 评论 -
NN前馈神经网络
前馈神经网络机器学习我们已经知道可以分为两大流派:频率派,这个流派的方法叫做统计学习,根据具体问题有下面的算法:正则化,L1,L2 等核化,如核支撑向量机集成化,AdaBoost,RandomForest层次化,神经网络,神经网络有各种不同的模型,有代表性的有:多层感知机AutoencoderCNNRNN这几种模型又叫做深度神经网络。贝叶斯派,这个流派的方法叫概率图模型,根据图特点分为:有向图-贝叶斯网络,加入层次化后有深度有向网络,包括Sig原创 2021-04-16 08:51:57 · 134 阅读 · 1 评论 -
Spectral谱聚类
谱聚类聚类问题可以分为两种思路:Compactness,这类有 K-means,GMM 等,但是这类算法只能处理凸集,为了处理非凸的样本集,必须引入核技巧。Connectivity,这类以谱聚类为代表。谱聚类是一种基于无向带权图的聚类方法。这个图用 G=(V,E)G=(V,E)G=(V,E) 表示,其中 V={1,2,⋯ ,N}V=\{1,2,\cdots,N\}V={1,2,⋯,N},E={wij}E=\{w_{ij}\}E={wij},这里 wijw_{ij}wij 就是边的权重,这里权原创 2021-04-16 08:52:37 · 150 阅读 · 0 评论 -
RBM受限玻尔兹曼机
受限玻尔兹曼机玻尔兹曼机是一种存在隐节点的无向图模型。在图模型中最简单的是朴素贝叶斯模型(朴素贝叶斯假设),引入单个隐变量后,发展出了 GMM,如果单个隐变量变成序列的隐变量,就得到了状态空间模型(引入齐次马尔可夫假设和观测独立假设就有HMM,Kalman Filter,Particle Filter),为了引入观测变量之间的关联,引入了一种最大熵模型-MEMM,为了克服 MEMM 中的局域问题,又引入了 CRF,CRF 是一个无向图,其中,破坏了齐次马尔可夫假设,如果隐变量是一个链式结构,那么又叫线性链原创 2021-04-16 08:51:34 · 184 阅读 · 0 评论 -
BayesianLR贝叶斯线性回归
贝叶斯线性回归我们知道,线性回归当噪声为高斯分布的时候,最小二乘损失导出的结果相当于对概率模型应用 MLE,引入参数的先验时,先验分布是高斯分布,那么 MAP的结果相当于岭回归的正则化,如果先验是拉普拉斯分布,那么相当于 Lasso 的正则化。这两种方案都是点估计方法。我们希望利用贝叶斯方法来求解参数的后验分布。线性回归的模型假设为:KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲f(x原创 2021-04-15 08:29:51 · 177 阅读 · 0 评论 -
GaussianNetwork高斯网络
高斯网络高斯图模型(高斯网络)是一种随机变量为连续的有向或者无向图。有向图版本的高斯图是高斯贝叶斯网络,无向版本的叫高斯马尔可夫网络。高斯网络的每一个节点都是高斯分布:N(μi,Σi)\mathcal{N}(\mu_i,\Sigma_i)N(μi,Σi),于是所有节点的联合分布就是一个高斯分布,均值为 μ\muμ,方差为 Σ\SigmaΣ。对于边缘概率,我们有下面三个结论:对于方差矩阵,可以得到独立性条件:xi⊥xj⇔σij=0x_i\perp x_j\Leftrightarrow\sigm原创 2021-04-15 08:29:09 · 715 阅读 · 0 评论 -
CRF条件随机场
条件随机场我们知道,分类问题可以分为硬分类和软分类两种,其中硬分类有 SVM,PLA,LDA 等。软分类问题大体上可以分为概率生成和概率判别模型,其中较为有名的概率判别模型有 Logistic 回归,生成模型有朴素贝叶斯模型。Logistic 回归模型的损失函数为交叉熵,这类模型也叫对数线性模型,一般地,又叫做最大熵模型,这类模型和指数族分布的概率假设是一致的。对朴素贝叶斯假设,如果将其中的单元素的条件独立性做推广到一系列的隐变量,那么,由此得到的模型又被称为动态模型,比较有代表性的如 HMM,从概率意义原创 2021-04-15 08:25:31 · 103 阅读 · 0 评论 -
particleFilter粒子滤波
粒子滤波Kalman 滤波根据线性高斯模型可以求得解析解,但是在非线性,非高斯的情况,是无法得到解析解的,对这类一般的情况,我们叫做粒子滤波,我们需要求得概率分布,需要采用采样的方式。我们希望应用 Monte Carlo 方法来进行采样,对于一个概率分布,如果我们希望计算依这个分布的某个函数 f(z)f(z)f(z) 的期望,可以利用某种抽样方法,在这个概率分布中抽取 NNN 个样本,则 E[f(z)]≃1N∑i=1Nf(zi)\mathbb{E}[f(z)]\simeq\frac{1}{N}\sum\原创 2021-04-15 08:25:00 · 134 阅读 · 0 评论 -
LDS线性动态系统
线性动态系统HMM 模型适用于隐变量是离散的值的时候,对于连续隐变量的 HMM,常用线性动态系统描述线性高斯模型的态变量,使用粒子滤波来表述非高斯非线性的态变量。LDS 又叫卡尔曼滤波,其中,线性体现在上一时刻和这一时刻的隐变量以及隐变量和观测之间:KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲z_t&=A\cdot z_…类比 HMM 中的几个参数:KaTeX pars原创 2021-04-15 08:24:09 · 576 阅读 · 0 评论 -
HMM隐马尔可夫模型
隐马尔可夫模型隐马尔可夫模型是一种概率图模型。我们知道,机器学习模型可以从频率派和贝叶斯派两个方向考虑,在频率派的方法中的核心是优化问题,而在贝叶斯派的方法中,核心是积分问题,也发展出来了一系列的积分方法如变分推断,MCMC 等。概率图模型最基本的模型可以分为有向图(贝叶斯网络)和无向图(马尔可夫随机场)两个方面,例如 GMM,在这些基本的模型上,如果样本之间存在关联,可以认为样本中附带了时序信息,从而样本之间不独立全同分布的,这种模型就叫做动态模型,隐变量随着时间发生变化,于是观测变量也发生变化:#m原创 2021-04-15 08:21:47 · 109 阅读 · 0 评论 -
MCMC 马尔可夫链蒙特卡洛
马尔可夫链蒙特卡洛MCMC 是一种随机的近似推断,其核心就是基于采样的随机近似方法蒙特卡洛方法。对于采样任务来说,有下面一些常用的场景:采样作为任务,用于生成新的样本求和/求积分采样结束后,我们需要评价采样出来的样本点是不是好的样本集:样本趋向于高概率的区域样本之间必须独立具体采样中,采样是一个困难的过程:无法采样得到归一化因子,即无法直接对概率 p(x)=1Zp^(x) p(x)=\frac{1}{Z}\hat{p}(x) p(x)=Z1p^(原创 2021-04-15 08:21:06 · 357 阅读 · 0 评论 -
VI变分推断
变分推断我们已经知道概率模型可以分为,频率派的优化问题和贝叶斯派的积分问题。从贝叶斯角度来看推断,对于 x^\hat{x}x^ 这样的新样本,需要得到:p(x^∣X)=∫θp(x^,θ∣X)dθ=∫θp(θ∣X)p(x^∣θ,X)dθp(\hat{x}|X)=\int_\theta p(\hat{x},\theta|X)d\theta=\int_\theta p(\theta|X)p(\hat{x}|\theta,X)d\thetap(x^∣X)=∫θp(x^,θ∣X)dθ=∫θp(θ∣X)p(原创 2021-04-15 08:20:21 · 170 阅读 · 0 评论 -
GMM 高斯混合模型
高斯混合模型为了解决高斯模型的单峰性的问题,我们引入多个高斯模型的加权平均来拟合多峰数据:p(x)=∑k=1KαkN(μk,Σk)p(x)=\sum\limits_{k=1}^K\alpha_k\mathcal{N}(\mu_k,\Sigma_k)p(x)=k=1∑KαkN(μk,Σk)引入隐变量 zzz,这个变量表示对应的样本 xxx 属于哪一个高斯分布,这个变量是一个离散的随机变量:p(z=i)=pi,∑i=1kp(z=i)=1p(z=i)=p_i,\sum\limits_{i=1原创 2021-04-15 08:19:14 · 233 阅读 · 0 评论 -
EM期望最大算法
期望最大期望最大算法的目的是解决具有隐变量的混合模型的参数估计(极大似然估计)。MLE 对 p(x∣θ)p(x|\theta)p(x∣θ) 参数的估计记为:θMLE=argmaxθlogp(x∣θ)\theta_{MLE}=\mathop{argmax}\limits_\theta\log p(x|\theta)θMLE=θargmaxlogp(x∣θ)。EM 算法对这个问题的解决方法是采用迭代的方法:θt+1=argmaxθ∫zlog[p(x,z∣θ)]p(z∣x,θt)dz=Ez∣x,θt[原创 2021-04-15 08:19:37 · 124 阅读 · 0 评论 -
PGMIntro概率图模型
概率图模型概率图模型使用图的方式表示概率分布。为了在图中添加各种概率,首先总结一下随机变量分布的一些规则:KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲&Sum\ Rule:p(x…可以看到,在链式法则中,如果数据维度特别高,那么的采样和计算非常困难,我们需要在一定程度上作出简化,在朴素贝叶斯中,作出了条件独立性假设。在 Markov 假设中,给定数据的维度是以时间顺序出现的原创 2021-04-14 18:55:55 · 393 阅读 · 0 评论 -
Exponentialfamily指数族分布
指数族分布指数族是一类分布,包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式:p(x∣η)=h(x)exp(ηTϕ(x)−A(η))=1exp(A(η))h(x)exp(ηTϕ(x))p(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta))=\frac{1}{\exp(A(\eta))}h(x)\exp(\eta^T\phi(x))p(x∣η)=h(x)exp(ηTϕ(x原创 2021-04-14 18:53:13 · 433 阅读 · 0 评论 -
SVM支撑向量机
支撑向量机支撑向量机(SVM)算法在分类问题中有着重要地位,其主要思想是最大化两类之间的间隔。按照数据集的特点:线性可分问题,如之前的感知机算法处理的问题线性可分,只有一点点错误点,如感知机算法发展出来的 Pocket 算法处理的问题非线性问题,完全不可分,如在感知机问题发展出来的多层感知机和深度学习这三种情况对于 SVM 分别有下面三种处理手段:hard-margin SVMsoft-margin SVMkernel MethodSVM 的求解中,大量用到了 Lagrange 乘原创 2021-04-14 18:51:51 · 135 阅读 · 0 评论 -
DimentionReduction 降维
降维我们知道,解决过拟合的问题除了正则化和添加数据之外,降维就是最好的方法。降维的思路来源于维度灾难的问题,我们知道 nnn 维球的体积为:CRnCR^nCRn那么在球体积与边长为 2R2R2R 的超立方体比值为:limn→0CRn2nRn=0\lim\limits_{n\rightarrow0}\frac{CR^n}{2^nR^n}=0n→0lim2nRnCRn=0这就是所谓的维度灾难,在高维数据中,主要样本都分布在立方体的边缘,所以数据集更加稀疏。降维的算法分为:直接降维,原创 2021-04-14 18:51:08 · 113 阅读 · 0 评论 -
LinearRegression 线性回归算法
线性回归假设数据集为:D={(x1,y1),(x2,y2),⋯ ,(xN,yN)}\mathcal{D}=\{(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_N)\}D={(x1,y1),(x2,y2),⋯,(xN,yN)}后面我们记:X=(x1,x2,⋯ ,xN)T,Y=(y1,y2,⋯ ,yN)TX=(x_1,x_2,\cdots,x_N)^T,Y=(y_1,y_2,\cdots,y_N)^TX=(x1,x2,⋯,xN)T,Y=(y1,y2原创 2021-04-14 10:52:01 · 198 阅读 · 0 评论 -
机器学习算法
Introduction对概率的诠释有两大学派,一种是频率派另一种是贝叶斯派。后面我们对观测集采用下面记号:XN×p=(x1,x2,⋯ ,xN)T,xi=(xi1,xi2,⋯ ,xip)TX_{N\times p}=(x_{1},x_{2},\cdots,x_{N})^{T},x_{i}=(x_{i1},x_{i2},\cdots,x_{ip})^{T}XN×p=(x1,x2,⋯,xN)T,xi=(xi1,xi2,⋯,xip)T这个记号表示有 NNN 个样本,每个样本都是 ppp原创 2021-04-14 10:38:02 · 104 阅读 · 0 评论