机器学习
文章平均质量分 90
cofisher
这个作者很懒,什么都没留下…
展开
-
粒子滤波(PF)原理详解
文章目录背景介绍动态模型卡尔曼滤波重要性采样蒙特卡洛采样法重要性采样基本原理将重要性采样引入filtering问题序列重要性采样基本粒子滤波算法SIR Filter背景介绍在引入粒子滤波之前,有必要对其相关知识进行介绍。动态模型动态模型的一个主要特点是在概率模型中引入时间序列的概念,使得每个样本之间不再独立同分布,而变得有依赖关系了。我们所看到的序列被称为观测序列,每个观测值背后都有一个隐变量,这个隐变量即系统状态,因此,动态模型又称为状态空间模型。动态模型又分为三大类:隐马尔科夫模型(隐变原创 2022-04-02 00:01:47 · 12165 阅读 · 2 评论 -
经验小波变换(EWT)理论基础
项目说明在信号分解领域,经验模态分解(EMD)十分经典,它基于信号特征自动地将信号分解为一组有限数目的 IMF 分量,在处理非线性和非平稳信号方面表现尤为出色,得到了广大学者的青睐。如今,EMD 方法在多个领域广泛应用,但是,在应用过程中会出现过包络、欠包络以及不同程度的端点效应和模态混叠问题,这给信号分解带来了许多问题。EWT 是 Gilles 于 2013 年提出的非平稳信号处理方法,它融合了 EMD 方法的自适应分解理念和小波变换理论的紧支撑框架,为信号处理提供了一种全新的自适应时频分析思路。相比原创 2021-08-24 00:35:59 · 27170 阅读 · 11 评论 -
时域同步平均(TSA)降噪原理
项目说明旋转机械设备出现故障损伤时,振动信号中通常包含有规律性的故障特征,其提取对于设备故障诊断具有重要意义。但由于噪声干扰、传递路径衰减、多振源耦合等因素,往往需要对振动信号进行降噪处理,如滤波器降噪、小波阈值降噪、SVD 降噪以及经验模态分解降噪等,才能顺利提取出故障特征。此外,在旋转机械设备平稳运行工况下,适应于振动信号的周期性变化特征,时域同步平均降噪方法也得到了广泛应用。TSA 降噪原理旋转机械设备运行时的振动信号为y(t)y(t)y(t),采样时间间隔为ΔtΔtΔt,则采样振动信号为y(k原创 2021-08-10 23:13:47 · 6208 阅读 · 1 评论 -
(经典、扩展、开关)卡尔曼滤波
项目说明本文将对三种卡尔曼滤波算法(经典卡尔曼滤波KF,扩展卡尔曼滤波EKF以及开关卡尔曼滤波SKF)的预测及更新过程进行汇总记录,不涉及具体公式推导过程。经典卡尔曼滤波KF经典卡尔曼滤波KF动态模型如下:Xt=AXt−1+Wt(1)X_t=AX_{t-1}+W_t \tag{1}Xt=AXt−1+Wt(1)Yt=HXt+Vt(2)Y_t=HX_{t}+V_t \tag{2}Yt=HXt+Vt(2)其中XtX_tXt是ttt时刻的n×1n\times 1n×1系统状态矢量,nn原创 2021-08-10 01:17:32 · 519 阅读 · 0 评论 -
隐马尔可夫模型(HMM)推导详解
文章目录1、隐马尔可夫模型基本概念2、隐马尔可夫模型基本参数3、隐马尔可夫模型基本假设4、隐马尔可夫模型基本问题4.1 评估问题4.2 学习问题4.3 预测问题5、隐马尔可夫模型基本问题解法5.1 评估问题5.1.1 前向算法1、隐马尔可夫模型基本概念隐马尔可夫(Hidden Markov Model, HMM)是马尔可夫链(Markov chain)的扩展,同样适合于对有限状态演进的随机过程建模。在马尔可夫链中,状态是可观察得到的,然而在某些情况下,状态隐藏在观测事件下,状态与观测变量不再满足一一对应原创 2021-08-06 14:01:16 · 2595 阅读 · 1 评论 -
EM 算法推导详解
EM算法介绍EM(Expectation-Maximum)算法,即期望最大化算法,是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计。简单来说,就是一种通过不断迭代更新来解得最优概率模型参数的算法。那么,为什么使用EM算法而不直接使用极大似然估计来获得模型参数呢?这里用三硬币模型举例说明。场景描述:假设有三枚硬币,分别记作A, B, C。这些硬币正面出现的概率分别是πππ,ppp,qqq。进行如下掷硬币试验:先掷硬币A,根据其结果选出硬币B或C,正面选硬币B,反面边硬币C;然后掷选出的硬币,掷硬原创 2021-08-05 21:32:38 · 819 阅读 · 0 评论 -
用 sklearn.utils.shuffle 来打乱样本顺序
直接举例说明:import sklearnX = np.array([[1, 2], [3, 4], [5, 6]])Y = np.array([[1], [2], [3]])print(X)print(Y)[[1 2] [3 4] [5 6]][[1] [2] [3]]x, y = sklearn.utils.shuffle(X, Y)print(x)print(...原创 2020-04-16 10:49:10 · 8183 阅读 · 1 评论 -
机器学习经典算法及python实现汇总
k-近邻算法朴素贝叶斯决策树(分类+回归)随机森林k-均值聚类逻辑回归主成分分析(PCA)原创 2020-02-16 17:58:03 · 671 阅读 · 0 评论 -
机器学习--sklearn之逻辑回归
目录线性回归Sigmoid函数逻辑回归逻辑回归的损失函数正则化L1正则化L2正则化L1正则化和L2正则化的区别梯度下降法梯度下降法的代数方式描述先决条件算法相关参数初始化算法过程梯度下降法的矩阵方式描述先决条件算法相关参数初始化算法过程梯度下降法分类批量梯度下降法BGD随机梯度下降法SGD小批量梯度下降法MBGD总结梯度下降的算法调优python中实现逻辑回归线性回归提到逻辑回归我们不得不提一...原创 2020-02-15 17:57:25 · 2507 阅读 · 0 评论 -
机器学习--sklearn之k均值聚类
什么是簇?简单来说,簇就是分类结果中的类,但实际上簇并没有明确的定义,并且簇的划分没有客观标准,我们可以利用下图来理解什么是簇。该图显示了20个点和将它们划分成簇的3种不同方法。标记的形状指示簇的隶属关系。下图分别将数据划分成两部分、四部分和六部分。将2个较大的簇每一个都划分成3个子簇可能是人的视觉系统造成的假象。此外,说这些点形成4个簇可能也不无道理。该图表明簇的定义是不精确的,而好的定义依赖...原创 2020-02-15 13:42:51 · 1345 阅读 · 0 评论 -
机器学习--sklearn之随机森林(python调参)
原理随机森林的原理即将多个决策树放到一起做决断。决策树原理详见:机器学习之决策树原理。森林:建立多个决策树放到一起,形成一个森林,将测试数据依次输入这多个决策树,得到最终结果。假设有三棵树,输入测试数据后依次得到1,1,0,那么对于分类问题来说,得到的结果为1;对于回归问题来说,得到的结果可以是平均数0.67。随机:1、样本的选择随机性:假设有从1到10共十个样本,从这个样本中有放回地...原创 2020-02-14 15:13:18 · 5719 阅读 · 4 评论 -
机器学习--sklearn之k-近邻算法
概述k-近邻算法(k-Nearest Neighbour algorithm),又称为KNN算法,是数据挖掘技术中原理最简单的算法。KNN 的工作原理:给定一个已知标签类别的训练数据集,输入没有标签的新数据后,在训练数据集中找到与新数据最接近的k个实例,如果这k个实例中的多数属于某个类别,那么新数据就属于这个类别。可以简单理解为:由那些离X最近的k个点来投票决定X归为哪一类。问题举个简单的...原创 2020-02-14 12:47:23 · 756 阅读 · 0 评论 -
机器学习--sklearn之朴素贝叶斯分类
问题这里有八名同学在考试前一天的活动以及他们的考试结果如下表所示:挂科喝酒逛街学习11100001010111001010001100101001通过以上数据,根据朴素贝叶斯原理,判断某学生在没有喝酒,没有逛街并且学习了的情况下是否会挂科。算法步骤朴素贝叶斯分类问题的主要...原创 2020-02-14 11:20:46 · 882 阅读 · 0 评论 -
机器学习--sklearn之决策树(分类+回归)
什么是决策树?决策树算法实现分类问题可以被理解为不断地进行条件语句判断,最终实现分类,如下图:进行判断的分支很像树的枝干,被分出来的类别像是枝干上的叶子,所以将这个图称为决策树。所以,用决策树算法解决问题的第一步就是画出决策树。决策树的结构在画决策树之前,要先了解决策树的结构是怎样的。在分类阶段时,从根开始,按照决策树的分类属性逐层往下划分,直到叶节点,获得分类结果。需要的一些基本概念...原创 2020-02-13 19:21:03 · 2239 阅读 · 1 评论 -
凸函数优化之对偶理论
预备知识什么是凸优化?凸优化需要满足:1、在最小化(最大化)的要求下;2、目标函数是一个凸函数(凹函数);3、同时约束条件所形成的可行域集合是一个凸集。凸集若集合CCC为凸集,则CCC中任意两点间的线段仍然在CCC中,也就是说,对于任意x1,x2∈Cx_1, x_2\in Cx1,x2∈C,都有:θx1+(1−θ)x2∈C\theta x_1+(1-\theta)x_2\i...原创 2020-02-12 19:18:59 · 939 阅读 · 0 评论 -
KNN代码实现
主程序Step1:环境参数设置导入工具库并设置在notebook中显示图像的默认参数。# Run some setup code for this notebook.from __future__ import print_functionimport randomimport numpy as npfrom cs231n.data_utils import load_CIFAR1...原创 2019-12-06 19:38:32 · 532 阅读 · 1 评论 -
机器学习--sklearn之支持向量机(SVM)
SVM是一个非常经典的监督学习算法。下面给出SVM对于二值分类的原理及推导过程。1、问题转化如下图所示:想要找一条直线wx+b=0wx+b=0wx+b=0将图中红蓝两类样本区分开,假设将这条线向左和向右分别平移,接触到样本点停止,得到两条新的直线,设它们分别为wx+b=c wx+b=c\;wx+b=c和wx+b=−cwx+b=-cwx+b=−c。令w=wc,b=bcw=\frac{w}{...原创 2019-12-05 20:21:07 · 1882 阅读 · 0 评论 -
LDA算法(Fisher线性判别)
LDA算法目的最小化类内方差,最大化不同类中心间的距离。LDA算法推导过程假设:样本共KKK类,每一类的样本个数为N1,N2,……,NkN_{1},N_{2},……,N_{k}N1,N2,……,Nk。x11,x12,……,x1N1x_{1}^{1},x_{1}^{2},……,x_{1}^{N_{1}}x11,x12,……,x1N1对应第一类……xK1,xK2,……,x1...原创 2019-12-04 16:41:50 · 627 阅读 · 0 评论 -
逻辑斯蒂回归模型
逻辑回归是线性回归的拓展形式,主要用来解决二分类问题(0/1)(0/1)(0/1)。线性回归线性回归公式:θTx=θ1x+θ2x+……+θnx\theta ^{T}x=\theta _{1}x+\theta _{2}x+……+\theta _{n}xθTx=θ1x+θ2x+……+θnx其中x∈Rnx\in R^{n}x∈Rn。逻辑回归将线性函数的输出压缩进区间(0,1)(0, 1...原创 2019-12-03 17:15:45 · 708 阅读 · 0 评论 -
西瓜价格问题估计:频率派vs贝叶斯派
频率派:假设在201920192019年去不同超市调研西瓜的价格得到555组数据(2.0,1.8,2.2,1.9,2.1)(2.0, 1.8, 2.2, 1.9, 2.1)(2.0,1.8,2.2,1.9,2.1),假设价格XXX服从高斯分布,则用极大似然估计可得西瓜价格均值为2.02.02.0元。贝叶斯派:假设在201920192019年去不同超市调研西瓜的价格得到555组数据(2.0,1...原创 2019-12-03 11:48:26 · 334 阅读 · 0 评论 -
机器学习--sklearn之主成分分析(PCA)
PCA(主成分分析)推导过程假设在nnn维空间内有mmm个点{x(1),x(2),……,x(m)x^{(1)}, x^{(2)}, ……, x^{(m)}x(1),x(2),……,x(m) }, 为了降低维度,对于每一个nnn维向量的样本点x(i)x^{(i)}x(i),我们希望找到一个对应x(i)x^{(i)}x(i)的lll维编码向量c(i)c^{(i)}c(i)。假设编码函数为c=f(x...原创 2019-11-29 21:35:38 · 2179 阅读 · 0 评论 -
有约束优化问题-拉格朗日乘子法
经典拉格朗日乘子法(约束条件为等式)minxf(x)s.t. g(x)=0\mathop{min}\limits_{x}f_{(\mathbf{x})}\text{\quad s.t.}\;g_{(\mathbf{x})}=0xminf(x)s.t.g(x)=0此处x\mathbf{x}x是一个向量。如下图,以二元函数举例:由图可以看出,只需要使f(x,y)=df_{(x, y)}...原创 2019-11-30 15:14:05 · 2248 阅读 · 0 评论 -
无约束优化问题之梯度下降法、牛顿法原理
无约束优化问题是机器学习中最普遍、最简单的优化问题x∗=minxf(x),x∈Rnx^{*}=\mathop{min}\limits_{x}f_{(x)},x\in R^{n}x∗=xminf(x),x∈Rn梯度下降法推导对于只有两个维度的函数f(x,y)f_{(x,y)}f(x,y),如下图所示。如果现在在PPP点,假设∣PP′∣=L,∠P′Px=θ|PP'|=L,\angle P...原创 2019-11-30 13:31:21 · 951 阅读 · 0 评论