算法理论
遗失的记忆~
这个作者很懒,什么都没留下…
展开
-
回归和拟合、归一化和标准化
回归和拟合:一、回归:研究一个随机变量Y对另一个(X)或一组(X1,X2,…,Xk)变量的相依关系的统计分析方法。应用回归预测法时应首先确定变量之间是否存在相关关系。如果变量之间不存在相关关系,对这些变量应用回归预测法就会得出错误的结果。二、拟合所谓拟合是指已知某函数的若干离散函数值{f1,f2,…,fn},通过调整该函数中若干待定系数f(λ1,λ2,…,λn),使得该函数与已知点集的差别(最小二...转载 2018-05-25 09:35:52 · 2405 阅读 · 0 评论 -
Pearson(皮尔逊)相关系数
统计相关系数简介 由于使用的统计相关系数比较频繁,所以这里就利用几篇文章简单介绍一下这些系数。 相关系数:考察两个事物(在数据里我们称之为变量)之间的相关程度。 如果有两个变量:X、Y,最终计算出的相关系数的含义可以有如下理解:(1)、当相关系数为0时,X和Y两变量无关系。(2)、当X的值增大(减小),Y值增大(减小),两个变量为正相关,相关系数在0.00与1...转载 2018-09-03 16:29:28 · 147127 阅读 · 4 评论 -
人工蜂群算法(ABC)
Bee colony algorithms蜂群算法的分类(基于繁殖行为的算法、蜜蜂交配优化算法、蜜蜂进化型遗传算法、蜂王算法)基于采蜜行为的算法(人工蜂群算法(ABC)、虚拟蜜蜂算法、蜂群优化算法)生物学机理1、不同角色之间的交流、转换及协作来实现2、采蜜行为包括蜜源、采蜜蜂与待采蜜蜂蜂群算法存在的问题1、参数设置对算法性能影响很大2、容易陷入局部最优,早熟...转载 2018-09-27 22:09:21 · 22906 阅读 · 0 评论 -
SVM参数详解
svm参数说明----------------------如果你要输出类的概率,一定要有-b参数svm-train training_set_file model_filesvm-predict test_file model_fileoutput_file自动脚本:python easy.py train_data test_data自动选择最优参数,自动进行归一化。对训...转载 2018-10-14 22:27:08 · 512 阅读 · 0 评论 -
蚁狮算法(Ant Lion Optimization)
蚁狮算法简单的说就是一个不断迭代搜索最优解的过程。2015年被人提出来的一种仿生优化算法,Ant Lion Optimizer即蚁狮优化算法,具有全局优化、调节参数少、收敛精度高、鲁棒性好的优点,已被应用到SVM、Elman神经网络、GM(1,1)以及螺旋桨页面曲线参数寻优等场合。蚁狮算法包含以下几个角色:蚂蚁,蚁狮(使用陷阱捕食蚂蚁的一种昆虫)和精英蚁狮。蚂蚁代表着尝试解,它随机走动...原创 2018-10-22 09:13:02 · 10824 阅读 · 2 评论 -
SVM参数详解
svm参数说明----------------------如果你要输出类的概率,一定要有-b参数svm-train training_set_file model_filesvm-predict test_file model_fileoutput_file自动脚本:python easy.py train_data test_data自动选择最优参数,自动进行归一化。对训...转载 2018-10-23 09:46:31 · 1909 阅读 · 0 评论 -
LIBSVM使用与自定义核函数
LIBSVM训练函数使用如下:model = svmtrain(trainlabel,traindata,'-s 0 -t 2 -c 1.2 -g 2.8')trainlabel:训练样本标签traindata:训练样本数据集,行向量为样本值SVM类型,用参数-s 设置,默认值为0,可选类型有:0 -- C- SVC1 -- nu - SVC2 -- one-class...转载 2018-11-01 10:24:18 · 666 阅读 · 0 评论 -
SVM进阶问题
1、为什么要选择最大间隔分类器,请从数学角度上说明? 答:几何间隔与样本的误分次数间存在关系: 其中的分母就是样本到分类间隔距离,分子中的R是所有样本中的最长向量值2、样本失衡会对SVM的结果产生影响吗? 答:会,超平面会靠近样本少的类别。因为使用的是软间隔分类,而如果对所有类别都是使用同样的惩罚系数,则由于优化目标里面有最小化惩罚量,所以靠近少数样本时,...转载 2018-11-05 14:31:38 · 369 阅读 · 1 评论 -
Arrhenius 方程的数学表达式背后的物理意义
Arrhenius 方程的数学表达式背后的物理意义当我们谈到一个基元反应方程式,此处重点是基元反应,只有一种过渡态 A+B→C(1)(1)A+B→C想要描述在温度TT的化学反应速率rr,我们一般用到的表达式是: r=k[cA][cB](2)(2)r=k[cA][cB]如果反应机理不变,改变反应物浓度就会改变反应速率,在一定浓度范围内,kk保持不变,这就是为什么kk被称为反应速率常数...转载 2018-11-24 14:48:56 · 3731 阅读 · 0 评论 -
锂离子电池--SEI膜
锂离子电池在电池首次从放电过程中,电极材料与电解液在固液相界面上发生反应,形成一层覆盖于电极材料表面的钝化层。这种钝化层是一种界面层,具有固体电解质的特征,是电子绝缘体却是锂离子的优良导体,锂离子可以经过该钝化层自由地嵌入和脱出,因此这层钝化膜被称为“固体电解质界面膜”(solid electrolyte interface),简称SEI膜。SEI膜的性能影响 1. SEI膜的形成...转载 2018-11-24 14:49:27 · 2829 阅读 · 0 评论 -
主成分分析法(PCA)
一、PCA简介1. 相关背景 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后,颇有体会。最近在做主成分分析和奇异值分解方面的项目,所以记录一下心得体会。 在许多领域的研究与应用中,往往需要对反映事物的多个变量进行大量的观测,收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息,但也在一定程度上增加了数据采集的工...转载 2018-08-27 16:17:59 · 8932 阅读 · 2 评论 -
相关向量机
相关向量机(Relevance vector machine,简称RVM)是Tipping在2001年在贝叶斯框架的基础上提出的,它有着与支持向量机(Support vector machine,简称SVM)一样的函数形式,与SVM一样基于核函数映射将低维空间非线性问题转化为高维空间的线性问题。 相关向量机的训练是在贝叶斯框架下进行的,在先验参数的结构下基于主动相关决策理论(automatic r...转载 2018-07-03 09:56:13 · 3651 阅读 · 1 评论 -
Dempster-Shafer理论
本文参考书Wikipedia中的 Dempster-Shafer thoery 原文链接:点击打开链接同时还参考了浙江大学计算机学院人工智能系 徐从富 教授的《人工智能》课件。在这里特别感谢!一、 DS证据理论概述核心: Dempster合成规则——将多个主体(可以是不同的人的预测、不同的传感器的数据、不同的分类器的输出结果等等)相融合优点: 1、所需要的先验数据比概率推理理论中更直观、更容易获得...转载 2018-05-25 11:06:44 · 18065 阅读 · 9 评论 -
赤池信息准则AIC,BIC
很多参数估计问题均采用似然函数作为目标函数,当训练数据足够多时,可以不断提高模型精度,但是以提高模型复杂度为代价的,同时带来一个机器学习中非常普遍的问题——过拟合。所以,模型选择问题在模型复杂度与模型对数据集描述能力(即似然函数)之间寻求最佳平衡。人们提出许多信息准则,通过加入模型复杂度的惩罚项来避免过拟合问题,此处我们介绍一下常用的两个模型选择方法——赤池信息准则(Akaike Informat...转载 2018-05-25 21:23:39 · 2629 阅读 · 0 评论 -
狄拉克函数
1.介绍统计学和概率中看到了这个函数,其实它就是信号处理中的单位阶跃函数或者单位冲击函数,经过查阅这个函数在物理、力学等方面有很广泛的应用,并且研究基础和相关理论也很深厚,自己只了解了其中的一小部分。首先概率中它往往作为 p.d.f. 出现,但又不是一个传统数学意义的函数。它可以描述成一个在原点处无限高,无限窄的曲线,并且它的积分为 1。也就是说只在原点处取 +∞,而在其他各处取 0。我们通常就将...转载 2018-05-25 22:33:59 · 4066 阅读 · 0 评论 -
Cholesky分解
LU分解概念:假定我们能把矩阵A写成下列两个矩阵相乘的形式:A=LU,其中L为下三角矩阵,U为上三角矩阵。这样我们可以把线性方程组Ax= b写成Ax= (LU)x = L(Ux) = b。令Ux = y,则原线性方程组Ax = b可首先求解向量y 使Ly = b,然后求解 Ux = y,从而达到求解线性方程组Ax= b的目的。LU分解的基本思想将系数矩阵A转变成等价的两个矩阵L和U的乘积,其中L和...转载 2018-05-28 15:08:37 · 33888 阅读 · 2 评论 -
Hermite Polynomials简介
最近在做一个数值逼近的算法,里面用到了埃尔米特多项式。所以就花了些时间推导了一遍,推导笔记放在这里算是给自己做个备忘。埃尔米特多项式 (Hermite Polynomials)简介埃尔米特多项式是一组正交的多项式。就如许多其他的以人名命名的数学公式一样,埃尔米特多项式其实也并不是埃尔米特第一个提出的。 Laplace 在 1810 年一篇论文中就给出了埃尔米特多项式的系数,Chebyshev 则在...转载 2018-05-28 15:48:24 · 1030 阅读 · 1 评论 -
马尔科夫蒙特卡洛算法(MCMC)
1.名词解释 MCMC方法就是*构造合适的马尔科夫链进行抽样而使用蒙特卡洛方法进行积分计算,既然马尔科夫链可以收敛到平稳分布。我们可以建立一个以π为平稳分布的马尔科夫链,对这个链运行足够长时间之后,可以达到平稳状态。此时马尔科夫链的值就相当于在分布π(x)中抽取样本。利用马尔科夫链进行随机模拟的方法就是MCMC。第一个MC: Monte Carlo(蒙特卡洛)。这个简单来说是让我们使用随机数(随机...转载 2018-05-29 09:33:14 · 850 阅读 · 0 评论 -
查普曼-科莫高洛夫方程Chapman–Kolmogorov equation
马尔可夫过程:马尔可夫过程按照其状态和时间参数是否连续或者离散分为三种:1.时间和状态都离散的叫做马尔科夫链,2.时间和状态都是连续的叫做马尔科夫过程,3.时间连续,状态离散的叫做连续时间的马尔科夫链。马尔可夫过程,其特点是,当过程在时刻 T0所处的状态为已知的条件下,过程在 T 时刻(T>T0)所处的状态仅与时刻T0 有关,而与过程在T0之前的时刻无关系。首先声明的是公式 P(n)=P(1...转载 2018-05-29 15:50:43 · 8363 阅读 · 0 评论 -
查普曼-科莫高洛夫方程
p(xt | z1:t-1) = f p(xt | xt-1, z1:t-1)P(xt-1 | z1:t-1)dxt-1根据马尔科夫假设,当前的状态只与前一时刻的状态有关,与历史观测值无关,通常去掉,z1:t-1,f表示积分查普曼-科莫高洛夫方程:p(xt | z1:t-1) = f p(xt | xt-1)P(xt-1 | z1:t-1)dxt-1P(y,z | x) = P(y | z,x)*...转载 2018-05-29 15:53:17 · 459 阅读 · 0 评论 -
雨流计数法
介绍雨流计数法是20世纪50年代由英国的两位工程师M.Matsuishi和T.Endo提出来的。该计数法的主要功能是把实测载荷历程简化为若干个载荷循环,供疲劳寿命估算和编制疲劳试验载荷谱使用。它以双参数法为基础,考虑了动强度(幅值)和静强度(均值)两个变量,符合疲劳载荷本身固有的特性。雨流计数法主要用于工程界,特别在疲劳寿命计算中运用非常广泛计数规则(1)雨流依次从载荷时间历程的峰值位置的内侧沿着...转载 2018-06-15 10:44:37 · 14290 阅读 · 1 评论 -
差分进化算法
1.算法提出及思想来源差分进化算法(Differential Evolution,DE)于1997年由Rainer Storn和Kenneth Price在遗传算法等进化思想的基础上提出的,本质是一种多目标(连续变量)优化算法(MOEAs),用于求解多维空间中整体最优解。差分进化思想来源即是早期提出的遗传算法(GeneticAlgorithm,GA),模拟遗传学中的杂交(crossover)...转载 2018-12-02 15:00:00 · 5261 阅读 · 0 评论