qq_36130719的博客

一年一度的数模竞赛就要开始了，相信各位小伙伴已经摩拳擦掌，准备在比赛中获得好名次了。本文从比赛规则、赛前注意事项、赛前准备工作、建模小队内部分工、赛题特点及选择技巧、数模论文模板规范等六方面给大家做部分指导。每一条都饱含了师兄师姐们曾经踩过的坑，希望各位小伙伴引以为戒，赛出水平，赛出成绩！

结合实际案例，从算法背景开始一步步到最终代码实现，本系列文章主要以matlab代码为主，为照顾学习其他编程语言的小伙伴，大部分算法会附带python、Java、C++、R语言等市面上主流代码，满足各层面的用户学习。部分内容参见网络文献，如有侵权，请联系博主删除本专栏中涉及的MATLAB基础知识讲解篇详见文章内容主要包括算法背景、算法原理、算法优缺点、算法伪代码、算法的应用场景、算法的应用案例、算法的拓展以及多语言实现算法的代码化。

RFM分析模型是一种用于客户细分和价值评估的常用工具。RFM代表了三个指标：最近一次购买（Recency）、购买频率（Frequency）和消费金额（Monetary）。通过对这些指标的分析，可以将客户分为不同的细分群体，以便更好地了解客户行为和价值，并制定相应的营销策略。具体来说，RFM分析模型的三个指标含义如下：最近一次购买（Recency）：衡量客户最近一次购买产品或服务的时间间隔。较短的时间间隔通常表示客户更加活跃和忠诚。

偏最小二乘法是一种新型的多元统计数据分析方法，于1983年由S.Wold和C.Albano等人首次提出。偏最小二乘法实现了，在一个算法下，可以同时实现回归建模（多元线性回归）、数据结构简化（主成分分析）以及两组变量之间的相关性分析（典型相关分析）。PCA方法虽解决了自变量共线性的问题，但是并没有考虑自变量主元对于因变量变化的解释作用。所以删除的次要主元有可能包含对回归有益的信息，而保留的主元有可能会夹杂一些对回归模型输出无益的噪声。

层次聚类是在不同的“层次”上对样本数据集进行划分，一层一层地进行聚类。就划分策略可分为自底向上的凝聚方法和自上向下的分裂方法。

线性判别分析是一种很重要的分类算法，同时也是一种降维方法（这个我还没想懂）。和 PCA 一样，LDA 也是通过投影的方式达到去除数据之间冗余的一种算法。如下图所示的 2 类数据，为了正确的分类，我们希望这 2 类数据投影之后，同类的数据尽可能的集中（距离近，有重叠），不同类的数据尽可能的分开（距离远，无重叠），左图的投影不好，因为 2 类数据投影后有重叠，而右图投影之后可以很好地进行分类，因为投影之后的 2 类数据之间几乎没有重叠，只是类内重叠得很厉害，而这正是我们想要的结果。

协方差分析亦称“共变量（数）分析”。方差分析的引申和扩大。基本原理是将线性回归与方差分析结合起来，调整各组平均数和 F 检验的实验误差项，检验两个或多个调整平均数有无显著差异，以便控制在实验中影响实验效应（因变量）而无法人为控制的协变量（与因变量有密切回归关系的变量）在方差分析中的影响。

在治疗肝癌的药物研究中，为了提高治疗药物在靶器官——肝脏的浓度，降低在非靶器官如心脏的浓度，设置了3个因素，第一个因素是药物（A），有2个水平，分别为“丝裂霉素+高分子物质+磁性物质”（实验组）和“丝裂霉素”（对照组）；第二个因素是时间（B），有3个水平，分别为给药后15分钟、30分钟和60分钟；第三个因素是器官（C），有两个水平，分别为肝脏和心脏，将60只小鼠随机分为12组（即2*3*3种组合），每组5只，即重复例数为5.观察指标（反应变量）为组织中丝裂霉素的浓度（ug/g）。

典型相关分析（canonical correlation analysis），是对互协方差矩阵的一种理解，是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。典型相关分析最早哈罗德·霍特林首次引入。

相关分析用于分析两个事物之间的关系情况，在现实分析中，相关分析往往有第三变量的影响或作用，而使得相关系数不能真实地体现其线性相关程度。比如，研究身高与肺活量之间的关系，身高与肺活量都同体重有关系，如果不考虑体重的影响，就会得到身高越高，肺活量越大，这显然是不准确的。因此，当存在可能会影响两变量之间的相关性的因素时，就需要使用偏相关分析，以得到更加科学的结论。01.概念偏相关分析用于分析当两个变量都与第三个变量相关时，将第三个变量的影响剔除，只分析另外两个变量之间的相关程度。02.案例应用。

由单因素方差分析案例中，为研究郁金对低张性缺氧小鼠存活时间的影响，将36只小鼠随机生成A、B以及 C 三组，每组12个，雌雄各半，分别以10g/kg、20g/kg、40g/kg三种不同剂量的郁金灌胃，各组小鼠均同时置于放有钠石灰的250ml密闭广口瓶中，观察并记录小鼠存活时间。

除此之外，有序Logit回归模型涉及到多类连接函数，SPSSAU默认使用logit连接函数，如果模型没有特别的要求，应该首选使用logit连接函数，尤其是因变量的选项数量很少的时候。如果X非常多(比如超过10个)，此时可以先对定类的X与Y进行卡方分析，对定量的X与Y进行方差分析，先看有没有差异关系，将最终有差异关系的X放入有序Logit回归模型中，这样X会较少，并且X与Y均有差异关系，也更可能有影响关系，此时有序Logit回归模型的预测准确率会更高。但现实研究来看logit连接函数的效能很高。

如果胎儿的一般平均死亡概率是很低的，比如10只正常老鼠妈妈产下的胎儿中死亡的频数分别为1,0,2,1,0,0,0,0,1,1，那么这5只患有遗传病5只正常的老鼠妈妈产下的胎儿中死亡的频数比如10,9,0,0,1,2,8,0,9,10就会有更大的变异。cptable包含不同大小的树对应的预测误差，可以用来辅助设定最终的树的大小。有一市场研究公司想预测最终谁会胜出，因此收集到共1847名民众信息，包括选择偏好，性别，年龄，学历等信息进行研究，研究性别，年龄和学历对于总统候选人选择的影响情况，最终做出科学预测。

逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预先给定的水平下进行显著性检验，若显著则该变量不必从回归方程中剔除，这时方程中其他几个变量也都不需要剔除（因为其他几个变量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显著，则该变量需要剔除，然后按偏回归平方和由小到大地依次对方程中其他变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的。

因子分析是指研究从变量群中提取共性因子的统计技术。最早由英国心理学家C.E.斯皮尔曼提出。他发现学生的各科成绩之间存在着一定的相关性，一科成绩好的学生，往往其他各科成绩也比较好，从而推想是否存在某些潜在的共性因子，或称某些一般智力条件影响着学生的学习成绩。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子，可减少变量的数目，还可检验变量间关系的假设。

在聚类的背景下，通过针对前两个成分绘制观测值，然后按聚类对它们进行着色，我们可以可视化我们的高维数据集，并且我们希望看到不同类中的观测值。聚类分析则可以采用多种不同的算法，如K均值聚类、层次聚类、密度聚类等，这些算法基于不同的相似性度量标准和优化目标，将数据划分为不同的簇。聚类分析的结果则是一组数据簇，每个簇内的数据点具有相似的特征或属性，但不同簇之间的数据点则具有较大的差异。而聚类分析则是一种无监督的学习方法，它不需要事先知道数据的分类信息，而是根据数据点之间的相似性，将数据划分为若干个不同的簇或类别。

​内容效度又称逻辑效度，是指项目对欲测的内容或行为范围取样的适当程度，即测量内容的适当性和相符性。成就测验和熟练测验特别注重这种效度。由于这种衡量效度的方法必须针对课程的目标和内容，以系统的逻辑方法详细分析题目的性能，故又称课程效度或逻辑效度。内容效度又称逻辑效度，是指项目对欲测的内容或行为范围取样的适当程度。如，教师为了了解学生在某一学科或某一课题上对知识的掌握情况，若时间许可，可以进行一个全面的考试，包含所有有关的内容，这显然行不通。

(Total Unduplicated Reach and Frequency)是累计净到达率和频次分析的简称。T，total，累计U，不重复，删除重复的样本R，到达率，计算不重复的样本F，频次，计算各样本的重要性。

在市场研究领域，联合分析已经成为一种在世界上最被广泛使用的定量分析方法之一。到目前为止，许多学者和专家都把这种方法视为是最有用的定量研究工具。在世界范围内，每年有数以万计的联合分析项目进行，它在市场研究领域的应用覆盖到：1、产品优化和产品线优化 衡量产品构成中具体特征的感知价值，帮助我们理解影响产品接受度的重要因素，从而从多种角度优化开发产品和产品线，包括但不限于 偏好份额最大化，收益/利润最大化，品牌替代最小化，品牌组合效果最优化等等。

PSM模型，即价格敏感度测试，该模型是在70年代由Van Westendrop所创建，其目的在于衡量目标用户对不同价格的满意及接受程度，了解其认为合适的产品价格，从而得到产品价格的可接受范围及合理定价区间。该模型起初主要用于单一产品的价格测试，整个价格测试过程完全基于被访者的自然反应，没有考虑任何竞争对手的产品功能、定价策略，甚至没有考虑自身产品的任何成本信息、定价策略等。因此PSM模型相对适用于竞争对手较少的新品或者在行业内处于头部地位的产品。

NPS（Net Promoter Score），净推荐值，又称净促进者得分，亦可称口碑，是一种计量某个客户将会向其他人推荐某个企业或服务可能性的指数。它是最流行的顾客忠诚度分析指标，专注于顾客口碑如何影响企业成长。通过密切跟踪净推荐值，企业可以让自己更加成功。净推荐值最早是由贝恩咨询公司客户忠诚度业务的创始人弗雷德里克·雷赫德（Frederick Reichheld）在2003哈佛大学商务回顾文章“你需要致力于增长的一个数字”的文章中提到，随后在他的书“终极疑问：驱动良性利润和真正发展”中出现。

KANO模型是东京理工大学教授狩野纪昭（Noriaki Kano）发明的对用户需求分类和排序的有用工具通过分析用户对产品功能的满意程度，对产品功能进行分级，从而确定产品实现过程中的优先级。KANO模型是一个典型的定性分析模型，一般不直接用来测量用户的满意度，常用于识别用户对新功能的接受度。帮助企业了解不同层次的用户需求，找出顾客和企业的接触点，挖掘出让顾客满意至关重要的因素。

使用乘积系数检验法进行中介作用检验，研究家庭氛围对家庭幸福感的影响中，父子沟通和母子沟通的中介作用，Bootstrap抽样法检验得到，系数a*b的95%置信区间均不包含0，父子沟通和母子沟通两个中介变量均表现为完全中介作用，分析结束。

结构方程模型（Structural equation modeling, SEM）是一种融合了因素分析和路径分析的多元统计技术。它的强势在于对多变量间交互关系的定量研究。在近三十年内，SEM大量的应用于社会科学及行为科学的领域里，并在近几年开始逐渐应用于市场研究中.顾客满足度就是顾客认为产品或服务是否达到或超过他的预期的一种感受。结构方程模型（SEM）就是对顾客满足度的研究采用的模型方法之一。其目的在于探索事物间的因果关系，并将这种关系用因果模型、路径图等形式加以表述。

很多心理、教育、社会等概念，均难以直接准确测量，这种变量称为潜变量（latent variable），如智力、学习动机、家庭社会经济地位等等。因此只能用一些外显指标（observable indicators），去间接测量这些潜变量。传统的统计方法不能有效处理这些潜变量，而结构方程模型则能同时处理潜变量及其指标。传统的线性回归分析容许因变量存在测量误差，但是要假设自变量是没有误差的。结构方程模型常用于验证性因子分析、高阶因子分析、路径及因果分析、多时段设计、单形模型及多组比较等。

首先，我们先回顾一下桑基图：图4.2-1观察上图可以发现，我们需要计算四个数据：每个节点的pv/sv、每个节点的转化率、节点间的pv/sv、节点间的转化率。节点pv/sv = 当前节点在当前层次中的pv/sv总和节点转化率 = ( 节点pv/sv ) / ( 路径起始节点pv/sv )节点间pv/sv = 上一级节点流向当前节点的pv/sv节点间转化率 = ( 节点间pv/sv ) / ( 上一级节点pv/sv )再来看下存储在Clickhouse中的路径数据。

在互联网数据化运营实践中，有一类数据分析应用是互联网行业所独有的——路径分析。路径分析应用是对特定页面的上下游进行可视化展示并分析用户在使用产品时的路径分布情况。比如：当用户使用某APP时，是怎样从【首页】进入【详情页】的，用户从【首页】分别进入【详情页】、【播放页】、【下载页】的比例是怎样的，以及可以帮助我们分析用户离开的节点是什么。在场景对应到具体的技术方案设计上，我们将访问数据根据session划分，挖掘出用户频繁访问的路径；

对应分析能够把一个交叉表结果通过图形的方式展现出来，用以表达不同变量之间以及不同类别之间的关系。对应分析实际也是降维，比较适合分类变量的研究。对应分析主要用于研究分类变量构成的交叉表，揭示变量之间的关系，并将交叉表的信息用图形的方式展现。可以揭示同一变量各个类别之间的差异，也可以揭示不同变量各个类别之间的对应关系。

dissertation在数据分析中会出现效度分析检验性因子分析，验证性因子分析是用于测量因子与测量项(量表题项)之间的对应关系是否与研究者预测保持一致的一种研究方法。验证性因子分析(CFA)用于验证对应关系。验证性因子分析CFA的主要目的在于进行效度验证，同时还可以进行共同方法偏差CMV的分析。效度有很多种，比如内容效度，结构效度，聚合(收敛)效度，区分效度等。

验证性因子分析（confirmatory factor analysis, CFA）是用于测量因子与测量项(量表题项)之间的对应关系是否与研究者预测保持一致的一种研究方法。与验证性因子分析CFA相对应的为探索性因子分析，二者的区别在于，验证性因子分析(CFA)用于验证对应关系，探索性因子分析(EFA)用于探索因子与测量项(量表题项)之间的对应关系。如果是成熟的量表，研究者可同时使用验证性因子分析CFA，和探索性因子分析(简称因子分析,EFA)用于验证量表的效度。

在绩效评价问卷研究中，如果涉及计算权重，通常有以下几种做法，分别是AHP层次法、优序图法、熵值法、因子分析法（探索性因子和验证性因子分析）。在问卷研究权重里面，分别是AHP层次法和优序图法尤为重要。汇总说明如下：如果问卷研究中涉及到重要性打分，或者排序，或者量表，此类的特点是分值越高代表越重要，或者越认可。那么可以理解为重要性越高，权重也会越高。因此可以利用此信息进行权重计算，分别使用到AHP层次分析法和优序图法，此两种研究方法均是利用相对重要性进行权重计算。

KS（Kolmogorov-Smirnov）统计量由两位苏联科学家A.N.Kolmogorov和N.V.Smirnov提出。在风控中KS通常用于评估模型区分度，区分度越大，说明模型风险排序能力越强。

主要显示样本是否有系统缺失，此处可见，共有171个缺失值，有效率96.7%

结构效度通常使用。

如果我们增加一题为“我认为没有工作压力”来反向测量，那么此时，“1-5”分代表的变化趋势将不在是“分值越大，压力越大”，而是“分值越低，压力与大”，此时，该题项与其他题项的计分方向相反，他们各项之间的相关系数就为负数，我们就需要对该题项进行变量转化。量表题型就是问题的选项，是分陈述等级进行设置的。在“旧值新值”框中，我们将“反向题目”的计分方式颠倒，即将“旧值1”更换为“新值5”，同时点击添加，同理，将“旧值2”更改为“新值4”，点击添加，“旧值4”改为“新值2”，“旧值5”改为“新值1”然后继续。

非参数检验如果总体分布为已知的数学形式,对其总体参数作假设检验称为参数检验。例如服从正态分布的计量资料,对其总体均数作假设检验的t检验和F 检验就是参数检验。若两个或多个总体不符合正态或者方差不等,也不能对其总体均数进行t检验或F检验的参数检验，这时可尝试变量变换使其满足参数检验条件，或者直接用非参数检验。非参数检验对总体分布不作严格假定,又称任意分布检验(distribution-free test)它直接对总体分布作假设检验。

正态分布（Normal distribution）概念是由德国的数学家和天文学家棣莫弗（Abraham de Moivre）于1733年首次提出的，但由于德国数学家Gauss率先将其应用于天文学研究，故正态分布又叫高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。

复选框中，需要分别填入分组变量的值标签。在这个案例中，两个分组变量的值标签分别是0和1，所以，组1指定值为0，组2指定值为1，点击。

SPSSAU分析操作全部均为三步，“拖拽点一下”即完成分析：左侧“仪表盘”选择分析方法；拖拽标题到右侧框，点击“开始分析”按钮；下载分析结果可配合ctrl或者shift键同时选择多个标题，批量进行拖拽等。

图像分割是计算机视觉中的一个关键过程。它包括将视觉输入分割成片段以简化图像分析。片段表示目标或目标的一部分，并由像素集或“超像素”组成。图像分割将像素组织成更大的部分，消除了将单个像素作为观察单位的需要。分类- 将整幅图片分成“人”、“动物”、“户外”等类别目标检测- 检测图像中的目标并在其周围画一个矩形，例如一个人或一只羊。分割- 识别图像的部分，并理解它们属于什么对象。分割是进行目标检测和分类的基础。