![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 89
Halosec_Wei
该博主主攻python数据分析,数据挖掘,机器学习方向
展开
-
时间序列分析——如何正确使用单位根检验(ADF)?
1、作用在使用很多时间序列模型的时候,如 ARMA、ARIMA,都会要求时间序列是平稳的,所以一般在研究一段时间序列的时候,第一步都需要进行平稳性检验,除了用肉眼检测的方法,另外比较常用的严格的统计检验方法就是ADF检验,也叫做单位根检验。单位根检验是指检验序列中是否存在单位根,因为存在单位根就是非平稳时间序列了。2、输入输出描述输入:1个时间序列数据定量变量输出:序列数据在几阶差分时达到平稳3、学习网站SPSSPRO-免费专业的在线数据分析平台4、案例示例案例:基于某杂志199原创 2021-12-06 10:57:48 · 15270 阅读 · 0 评论 -
如何用ARIMA模型做预测?
1、作用ARIMA模型的全称叫做自回归移动平均模型,是统计模型中最常见的一种用来进行时间序列预测的模型。2、输入输出描述输入:特征序列为1个时间序列数据定量变量输出:未来N天的预测值3、学习网站SPSSPRO-免费专业的在线数据分析平台4、案例示例案例:基于1985-2021年某杂志的销售量,预测某商品的未来五年的销售量。5、案例数据ARIMA案例数据6、案例操作Step1:新建分析;Step2:上传数据;Step3:选择对应数据打开后进行预览,确认无原创 2021-12-02 14:30:00 · 24899 阅读 · 2 评论 -
如何用spss做灰色关联度分析?手把手教学快速掌握
1、作用对于两个系统之间的因素,其随时间或不同对象而变化的关联性大小的量度,称为关联度。在系统发展过程中,若两个因素变化的趋势具有一致性,即同步变化程度较高,即可谓二者关联程度较高;反之,则较低。因此,灰色关联分析是指对一个系统发展变化态势的定量描述和比较的方法,其基本思想是通过确定参考数据列和若干个比较数据列的几何形状相似程度来判断其联系是否紧密,它反映了曲线间的关联程度。2、输入输出描述输入:特征序列为至少两项或以上的定量变量,母序列(关联对象)为1项定量变量。输出:反应考核指标与母序列的关原创 2021-11-30 18:23:27 · 46944 阅读 · 1 评论 -
大学生数学建模常用模型之线性回归
1、作用线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,在线性回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。2、输入输出描述输入:自变量X至少一项或以上的定量变量或二分类定类变量,因变量Y要求为定量变量(若为定类变量,请使用逻辑回归)。输出:模型检验优度的结果,自变量对因变量的线性关原创 2021-11-26 16:03:13 · 5067 阅读 · 0 评论 -
深入浅出详解因子分析,附案例教学(全)
1、作用因子分析是基于降维的思想,在尽可能不损失或者少损失原始数据信息的情况下,将错综复杂的众多变量聚合成少数几个独立的公共因子,这几个公共因子可以反映原来众多变量的主要信息,在减少变量个数的同时,又反映了变量之间的内在联系。通常因子分析有三种作用:一是用于因子降维,二是计算因子权重,三是计算加权计算因子汇总综合得分。2、输入输出描述输入:2个或两个以上的定量变量(假设为N个变量)。输出:最低可降维成1维(一个变量,一般用于综合评价),最多可降维成N个变量(一般用于数据脱敏),同时可以获取降维后原创 2021-11-25 17:25:35 · 14814 阅读 · 2 评论 -
MPai数据科学平台
MPai是什么?目标:从根本上降低数据分析的学习门槛学习数据分析关键在于两点:1. 是掌握各种类型的数学模型的用法与分析流程;2. 是能结合工具熟练实现模型,并灵活应用于业务场景。普通人要学数据,需要学习大量的、各类型的数学模型,需要翻阅需要文献来积累分析模板,也就是分析流程,掌握了理论,还需要把学习工具,一些工具没法实现的模型只能通过matlab、python、R等编程语言来实现,因此造就了数据分析的高门槛。数据分析师或者数据分析人员在实际工作中,通常不需要理解模型算法的原理,只需原创 2020-08-27 15:47:07 · 29430 阅读 · 10 评论 -
数学建模上分利器,无编程基础小白5分钟内掌握81个数学建模模型!
随着数学建模国赛很快就要来了,很多人还没开始准备学习建模或者组不到强有力的建模、编程队友。然而,让很多朋友困惑的是,我是文科生或者我不会编程,能学会数据分析、数学建模么?数据分析、数学建模该怎么学?该学哪些课程呢?要不要掌握很多数学模型理论?要不要学习Python?R?一看代码就头大怎么办?数学基础很差怎么办?别怕,万灵数据旗下的MPai数据科学平台满足你的需求! 5分钟掌握主流61个统计类数学模型(几乎涵盖SPSS绝大部分功能),以及23个有监督机器学习(包括随机森林,SVM,XGBoost原创 2020-08-17 14:57:01 · 1962 阅读 · 0 评论 -
数学建模常用模型19 :方差分析
方差分析:看几类数据之间有无差异,差异性影响,例如:元素对麦子的产量有无影响,差异量的多少;(1992年,作物生长的施肥效果问题)一般概率P值(单尾)的界定值是0.05,(双尾)是0.10小于这个值的就为差异显著,就可以判定结果有效。单因素方差分析(多重比较):例 用4种工艺生产灯泡,从各种工艺制成的灯泡中各抽出了若干个测量其寿命,结果如下表,试推断这几种工艺制成的灯泡...原创 2018-08-21 11:03:40 · 8854 阅读 · 0 评论 -
数学建模常用模型20 :非线性规划之蒙特卡洛法(优化模型)
(i)首先编写M文件mente.m定义目标函数f 和约束向量函数g,程序如下:function [f,g]=mengte(x);f=x(1)^2+x(2)^2+3*x(3)^2+4*x(4)^2+2*x(5)-8*x(1)-2*x(2)-3*x(3)... -x(4)-2*x(5);g(1)=sum(x)-400;g(2)=x(1)+2*x(2)+2*x(3)+x(4)+6*...原创 2018-08-21 11:07:07 · 6131 阅读 · 0 评论 -
数学建模常用模型21:BP神经网络(三层)
在拥有一些数据的前提下,预测接下来的数据,在模型检验的时候用。步骤:1. 准备训练网络的样本。2. 确定网络的初始参数,包括最大训练次数,隐含层神经元数量,网络学习速率,训练的目标误差,是否添加动量因子3. 初始化网络的权值(w)和阈值(B)4. 计算第一层神经元的输入和输出,对输入进行归一化处理5. 计算第二层神经元的输入。对于第二层,神经元的输入 一定...原创 2018-08-21 11:53:13 · 8339 阅读 · 2 评论 -
数学建模常用模型22:回归模型
回归模型的引入由于客观事物内部规律的复杂性及人们认识程度的限制,无法分析实际对象内在的因果关系,建立合乎机理规律的数学模型。所以在遇到有些无法用机理分析建立数学模型的时候,通常采取搜集大量数据的办法,基于对数据的统计分析去建立模型,其中用途最为广泛的一类随即模型就是统计回归模型。回归模型确定的变量之间是相关关系,在大量的观察下,会表现出一定的规律性,可以借助函数关系式来表达,这种函数...原创 2018-08-21 12:11:51 · 15789 阅读 · 0 评论 -
数学建模常用模型23:马尔可夫预测方法
马尔可夫预测的性质及运用对事件的全面预测,不仅要能够指出事件发生的各种可能结果,而且还必须给出每一种结果出现的概率,说明被预测的事件在预测期内出现每一种结果的可能性程度。这就是关于事件发生的概率预测。马尔可夫(Markov)预测法,就是一种关于事件发生的概率预测方法。它是根据事件的目前状况来预测其将来各个时刻(或时期)变动状况的一种预测方法。马尔可夫预测法是地理预测研究中重要的预测方法之一...原创 2018-08-21 14:53:06 · 73526 阅读 · 10 评论 -
数学建模常用模型24:时间序列分析
2019-03-22补充了spss结果分析(案例)末尾定义按照时间的顺序把随机事件变化发展的过程记录下来就构成了一个时间序列。对时间序列进行观察、研究,找寻它变化发展的规律,预测它将来的走势就是时间序列分析AR(p)模型 具有上述结构的模型称为p阶自回归模型,记为AR(p)MA(q)模型 ...原创 2018-08-21 19:18:54 · 31791 阅读 · 1 评论 -
大白话讲数据结构和算法__12 链栈与逆波兰表达式(后缀表达式)
栈的链式存储结构其实就是用指针来指向栈的下一个元素栈因为只是栈顶来做插入和删除操作,所以比较好的方法就是将栈顶放在单链表的头部,栈顶指针和单链表的头指针合二为一。栈的抽象数据结构(ADP)如下所示:teypedef struct StackNode{ElemType data; // 存放栈的数据struct StackNode *next;} StackNode, *L...原创 2018-09-25 20:35:53 · 289 阅读 · 0 评论 -
利用栈实现:中缀表达式转后缀表达式
题目:现有中缀表达式如:1+(2-3)*4+10/5请用栈的特性编写一个程序,使得程序输出后缀表达式分析如下:STEP1:1+(2-3)*4+10/5首先遇到第一个输入是数字1,数字在后缀表达式中都是直接输出,接着是符号“+”,入栈:STEP2:1+(2-3)*4+10/5第三个字符是“(”,依然是符号,入栈,接着是数字2,输出,然后是符号“-”,入栈:ST...原创 2018-09-26 20:50:59 · 34812 阅读 · 11 评论 -
NLP从零开始 NLP和深度学习概述
自然语言是人类智慧的结晶,自然语言处理是人工智能中最为困难的问题之一,而对自然语言处理的研究也是充满魅力和挑战的。我们可以看到,2012年2017年,在ACL、 EMNLP、EA、NAAC会议上呈现的NLP深度学习论文数量增长趋势NLP是什么?• NLP( Natural Language Processing ) 是 自然 语言 处理 的 简称,是研究人与 计...原创 2019-04-15 17:02:01 · 511 阅读 · 0 评论 -
NLP从零开始 实现算法的通用步骤
• 1)论文的阅读,最新算法的研究论文的阅读,最新算法的研究• A、顶级会议论文 • 机器学习顶级会议:NIPS, ICML, UAI, AISTATS; (期刊:JMLR, ML, Trends in ML, IEEE T-NN)• 计算机视觉和图像识别:ICCV, CVPR, ECCV; (期刊:IEEE T-PAMI, IJCV, IEEE T-IP)• 人工智能:IJC...原创 2019-04-15 17:03:08 · 874 阅读 · 0 评论 -
NLP从零开始 Stanford NLP 在Python环境中安装、介绍及使用
Stanford NLP提供了一系列自然语言分析工具。它能够给出基本的 词形,词性,不管是公司名还是人名等,格式化的日期,时间,量词, 并且能够标记句子的结构,语法形式和字词依赖,指明那些名字指向同 样的实体,指明情绪,提取发言中的开放关系等。1.一个集成的语言分析工具集;2.进行快速,可靠的任意文本分析;3.整体的高质量的文本分析;4.支持多种主流语言;5.多种编程语言的...原创 2019-04-15 17:17:42 · 640 阅读 · 0 评论 -
NLP从零开始 Hanlp 在Python环境中安装、介绍及使用
HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然 语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构 清晰、语料时新、可自定义的特点。 功能:中文分词 词性标注 命名实体识别 依存句法分析 关键词提取 新词发现 短语提取 自动摘要 文本分类 拼音简繁Hanlp环境安装• 1、安装Java和Visual C++:我装的是Java 1.8和V...原创 2019-04-15 17:19:03 · 1138 阅读 · 0 评论 -
数学建模常用模型18 :多维标度法
在实际中往往会碰到这样的问题:有n个由多个指标(变量)反映的客体,但反映客体的指标个数是多少不清楚,甚至指标本身是什么也是模糊的,更谈不上直接测量或观察它,仅仅所能知道的是这n个客体之间的某种距离(不一定是通常的欧氏距离)或者某种相似性,我们希望仅由这种距离或者相似性给出的信息出发,在较低维的欧氏空间把这n个客体(作为几何点)的图形描绘出来,从而尽可能揭示这n个客体之间的真实结果关系,这就是多维标...原创 2018-08-21 09:33:51 · 2905 阅读 · 0 评论 -
数学建模常用模型25:支持向量机
支持向量机( support vector machine,SVM)是一种新的机器学习方法,其基础是Vapnik创建的统计学习理论( statistical learning theory,STL)。统计学习理论采用结构风险最小化(structural risk minimization,SRM)准则,在最小化样本点误差的同时,最小化结构风险,提高了模型的泛化能力,且没有数据维数的限制。在进行线性...原创 2018-08-23 11:45:51 · 9602 阅读 · 1 评论 -
数学建模常用模型08 :主成分分析
评价多个对象的水平并排序,指标间关联性很强主成分分为主成分分析和主成分评价两个方面,分析就是单纯的分析数据是否具有主成分和主成分效果如何,评价就是根据主成分运行的结果直接评价了。要求:指标之间相关性比较高,一般需要对数据的相关性或者主成分分析的结果进行分析后,如果效果比较好,再使用主成分分析,如果效果不好,那就不要使用主成分分析:切记主成分说白了就是在评价的时候有很多指标,...原创 2018-08-20 09:35:47 · 31016 阅读 · 7 评论 -
数学建模常用模型01 :.灰色预测法
基于灰色建模理论的灰色预测法,按照其预测问题的特征,可分为五种基本类型,即数列预测、灾变预测、季节灾变预测、拓扑预测和系统综合预测。这五种类型的预测方法,都是区域开发研究中重要而且常用的预测方法。本节只对数列预测法进行介绍。灰色预测模型使用范围:①数据样本点个数少,6-15个②数据呈现指数或曲线的形式③只适合做中短期预测,不适合长期预测。数列预测就是对某一指标的发展变化情况所作...原创 2018-08-03 01:43:02 · 29731 阅读 · 3 评论 -
数学建模常用模型06 :时间序列预测
时间序列预测与马尔科夫链预测互补,至少有2个点需要信息的传递,ARMA模型,周期模型,季节模型等ARMA模型的全称是自回归移动平均(auto regression moving average)模型,它是目前最常用的拟合平稳序列的模型,它又可细分为AR模型(auto regression model)、MA模型(moving average model)和ARMA模型(auto regress...原创 2018-08-03 13:50:11 · 32575 阅读 · 12 评论 -
数学建模常用模型05 :多元回归模型
1 基本知识介绍1.1回归模型的引入由于客观事物内部规律的复杂性及人们认识程度的限制,无法分析实际对象内在的因果关系,建立合乎机理规律的数学模型。所以在遇到有些无法用机理分析建立数学模型的时候,通常采取搜集大量数据的办法,基于对数据的统计分析去建立模型,其中用途最为广泛的一类随即模型就是统计回归模型。回归模型确定的变量之间是相关关系,在大量的观察下,会表现出一定的规律性,可以借助函数关...原创 2018-08-03 13:43:37 · 44750 阅读 · 1 评论 -
数学建模常用模型04 :灰色关联分析法
与灰色预测模型一样,比赛不能优先使用,灰色关联往往可以与层次分析结合使用。层次分析用在确定权重上面【1】确定比较对象(评价对象)(就是数据,并且需要进行规范化处理,就是标准化处理,见下面例题的表格数据)和参考数列(评价标准,一般该列数列都是1,就是最优的的情况)【2】确定各个指标权重,可用层次分析确定【3】计算灰色关联系数这是一个比较复杂的公式,给出的代码可以直接运行出来,可以...原创 2018-08-03 13:15:52 · 16054 阅读 · 11 评论 -
数学建模常用模型03 :层次分析法(AHP)
层次分析分为两个方面:一个是有数据的情况下使用层次分析,一个是无数据的情况下是使用层次分析:(1)无数据的情况下使用层次分析参考姜启源《数学模型》第四版,因为没有数据,比如景色、舒适度,这些没有具体数据的,使用层次分析的时候,不仅需要做准则层对于目标层的成对比较矩阵,也要做方案层对于准则层的成对比较矩阵。并且只要有成对比较矩阵就一定要做一个一致性检验。准则层对于目标层的成对比较矩...原创 2018-08-03 13:08:10 · 7521 阅读 · 0 评论 -
数学建模常用模型02 :插值与拟合
插值:求过已知有限个数据点的近似函数。拟合:已知有限个数据点,求近似函数,可不过已知数据点,只要求在某种意义下它在这些点上的总偏差最小。插值和拟合都是要根据一组数据构造一个函数作为近似,由于近似的要求不同,二者的数学方法上是完全不同的。而面对一个实际问题,究竟应该用插值还是拟合,有时容易确定,有时则并不明显。常见的插值:拉格朗日多项式插值、牛顿插值、分段线性插值、 Hermite 插值和三次样...原创 2018-08-03 12:38:21 · 15904 阅读 · 0 评论 -
大白话讲数据结构和算法__番外 快速找到未知长度单链表的中间节点 (腾讯面试题)
题目:快速找到未知长度单链表的中间节点。既然是面试题就一定有普通方法和高级方法,而高级方法无疑会让面试官大大加分!普通的方法很简单,首先遍历一遍单链表以确定单链表的长度L。然后再次从头节点出发循环L/2次找到单链表的中间节点。算法复杂度为:O(L+L/2)=O(3L/2)。能否再优化一下这个时间复杂度呢?有一个很巧妙的方法:利用快慢指针!利用快慢指针原理:设置两个指针*search、*...原创 2018-08-06 17:37:34 · 269 阅读 · 0 评论 -
数学建模常用模型09 :优劣解距离法(TOPSIS法)
优劣解距离法(TOPSIS法)(备用)优劣解距离法(TOPSIS)又称理想解法,是一种有效的多指标评价方法。这种方法通过构造评价问题的正理想解和负理想解,即各指标的最大值和最小值,通过计算每个方案到理想方案的相对贴近度,即靠近正理想解和远离负理想解的程度,来对方案进行排序,从而选出最优方案。TOPSIS过程比较简单,请参考司守奎第二版14章第一节,但是TOPSIS的代码暂时无法直接运用,因...原创 2018-08-20 09:41:21 · 16735 阅读 · 2 评论 -
数据预处理 常见的几种方法
数据的预处理又称属性值的规范化。属性值具有多种类型,包括效益型、成本型、以及区间型等。这三种属性,效益型属性越大越好,成本型属性越小越好,区间型属性是在某个区间最佳。在进行决策时,一般要进行属性值的规范化,主要有如下三个作用:①属性值有多种类型,上述三种属性放在同一个表中不便于直接从数值大小判断方案的优劣,因此需要对数据进行预处理,使得表中任一属性下性能约优的方案变换后的属性值越大。②非量...原创 2018-08-20 10:05:14 · 43439 阅读 · 0 评论 -
数学建模常用模型17 :偏最小二乘回归分析
偏小二乘回归提供一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重相关性,而观测数据的数量(样本量)又较少时,用偏小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。偏小二乘回归分析在建模过程中集中了主成分分析,典型相关分析和线性回归分析方法的特点,因此在分析结果中,除了可以提供一个更为合理的回归模型外,还可以同时完成一些类似于主成分分析和典型相关分析的研究内容,提...原创 2018-08-21 09:11:41 · 30930 阅读 · 11 评论 -
数学建模常用模型16 :对应分析
对应分析( correspondence analysis )是在R型和Q型因子分析基础上发展起来的多元统计分析方法,又称为R-Q型因子分析。例 试用对应分析研究我国部分省份的农村居民家庭人均消费支出结构。选取7个变量:A为食品支出比重,B为衣着支出比重,C为居住支出比重,D为家庭设备及服务支出比重,E为医疗保健支出比重,F为交通和通讯支出比重,G为文教娱乐、日用品及服务支出比重。考察的地区(...原创 2018-08-20 14:44:04 · 16685 阅读 · 4 评论 -
数学建模常用模型15 :判别分析
判别分析(discriminant analysis)是根据所研究的个体的观测指标来推断该个体所属类型的一种统计方法,在自然科学和社会科学的研究中经常会碰到这种统计问题。例如在地质找矿中我们要根据某异常点的地质结构、化探和物探的各项指标来判断该异常点属于哪一种矿化类型;医生要根据某人的各项化验指标的结果来判断该人属于什么病症;调查了某地区的土地生产率、劳动生产率、人均收入、费用水平、农村工业比重等...原创 2018-08-20 14:41:09 · 9154 阅读 · 2 评论 -
数学建模常用模型14 :因子分析
因子分析可以看作是主成分分析的一个扩充,因子分析在数学建模中使用的没有主成分分析那么多。关于因子分析和主成分分析的区别可以看一下司守奎老师的“因子分析”那个章节。一开始就有介绍区别。因子分析1)主成分分析法:例5 研究纽约股票市场上五种股票的周回升率。这里,周回升率=(本星期五市场收盘价-上星期五市场收盘价)/上星期五市场收盘价。从1975年1月到1976年12月,对这五种股票作了10...原创 2018-08-20 14:39:10 · 27111 阅读 · 0 评论 -
数学建模常用模型13 :相关性分析
相关分析研究的是两个变量的相关性,但你研究的两个变量必须是有关联的,如果你把历年人口总量和你历年的身高做相关性分析,分析结果会呈现显著地相关,但它没有实际的意义,因为人口总量和你的身高都是逐步增加的,从数据上来说是有一致性,但他们没有现实意义。相关性分析和聚类分析一样,比较简单,数学建模中经常用,但是每次都只用一小步,或者只是对数据进行一下分析,根据分析的结果确定使用的方法,所以这些方法不要掌...原创 2018-08-20 12:48:45 · 84836 阅读 · 1 评论 -
数学建模常用模型12 :聚类分析法
聚类分析是指标降维的一种,主要目的是将很多指标进行聚类,聚类和分类不同,区别是:分类是已经知道有哪些类别,然后将各个指标或者变量进行分类。聚类则是不知道有哪些类别,根据一定的规则进行聚类。例如Q型聚类分析(样本聚类)是,第一次的时候计算各个样本(一个样本是一类)之间的距离(这个距离可以是绝对距离,也可以是欧几里得距离等等,常用的是Minkowski距离),将距离最小的两个聚成一类,这个时候...原创 2018-08-20 11:03:52 · 9432 阅读 · 0 评论 -
数学建模常用模型11 :熵权法
按照信息论基本原理的解释,信息是系统有序程度的一个度量,熵是系统无序程度的一个度量;如果指标的信息熵越小,该指标提供的信息量越大,在综合评价中所起作用理当越大,权重就应该越高。step1. 数据标准化 将各个指标的数据进行标准化处理。假设给定了k个指标 ,其中 。假设对各指标数据标准化后的值为 ,那么 step2.求各...原创 2018-08-20 10:48:06 · 15056 阅读 · 2 评论 -
数学建模常用模型10 :数据包络(DEA)分析法(投入产出法)
数据包络分析是评价多输入指标和多输出指标的较为有效的方法,将投入与产出进行比较。它的结果包含的意思有:①θ=1,DEA有效,表示投入与产出比达到最优②θ<1,非DEA有效,表示投入与产出比没有达到最优,一般来说,θ越大说明效果越好。数据包络分析是通过对投入的指标和产出的指标做了一个线性规划,并且进行变换后,然后根据其线性规划的对偶问题(线性规划对偶问题具有经济学意义),求解这个对...原创 2018-08-20 10:42:26 · 90327 阅读 · 6 评论 -
数学建模常用模型07 :模糊综合评价法
评价一个对象优、良、中、差等层次评价,评价一个学校等,不能排序一般可以结合层次分析使用【1】确定因素集,就是评价指标U={政治表现 ,工作能力 ,工作态度 ,工作成绩 }【2】确定评语集V={优秀 ,良好 ,一般 ,较差 ,差 }【3】确定各因素权重,可结合层次分析,可按照经验给出,可全部看成1:1:1:A=[0.25,0.2,0.25,0.3]%书中给出【4...原创 2018-08-05 12:58:35 · 32608 阅读 · 5 评论