qq_36130719的博客

一年一度的数模竞赛就要开始了，相信各位小伙伴已经摩拳擦掌，准备在比赛中获得好名次了。本文从比赛规则、赛前注意事项、赛前准备工作、建模小队内部分工、赛题特点及选择技巧、数模论文模板规范等六方面给大家做部分指导。每一条都饱含了师兄师姐们曾经踩过的坑，希望各位小伙伴引以为戒，赛出水平，赛出成绩！

结合实际案例，从算法背景开始一步步到最终代码实现，本系列文章主要以matlab代码为主，为照顾学习其他编程语言的小伙伴，大部分算法会附带python、Java、C++、R语言等市面上主流代码，满足各层面的用户学习。部分内容参见网络文献，如有侵权，请联系博主删除本专栏中涉及的MATLAB基础知识讲解篇详见文章内容主要包括算法背景、算法原理、算法优缺点、算法伪代码、算法的应用场景、算法的应用案例、算法的拓展以及多语言实现算法的代码化。

如果回归模型中X仅为1个，此时就称为简单线性回归或者一元线性回归；如果X有多个，此时称为多元线性回归，Y满足定量数据即可。逐步回归分析研究X对Y的影响关系情况,X可以为多个,但并非所有X均会对Y产生影响;当X个数很多时,可以让系统自动识别出有影响的X;这一自动识别分析方法则称为逐步回归分析;SPSSAU提供三种方法：向前法、向后法、逐步法。如果Y为两类比如0和1（比如1为愿意和0为不愿意，1为购买和0为不购买），此时就叫二元logistic回归；

一般情况下，在我们研究的回归模型中，都隐含的假定了因变量（Y）是定量的，而解释变量（X）是定量、定性（或虚拟变量）。当因变量（Y）为二值定性的情况：比如一个家庭是否拥有一所住房，如拥有 Y=1，不拥有 Y=0，则被称为线性概率模型。当因变量为二值时，X 与 Y 的关系如图中的点:要预测的值y为期望令根据员工满意度、月均工作小时、工伤事故、薪资水平四个影响因素(自变量)研究员工是否离职。一般情况下，在我们研究的回归模型中，都隐含的假定了因变量（Y）是定量的，而解释变量（X）是定量、定性（或虚拟变量）

Kappa分析是一种用于检验员检验能力鉴定的方法，它衡量的是评估者之间的一致性。Kappa值用于计算两观察者的吻合率，取值范围在-1到1之间，其中0表示随机一致性，1表示完全一致性。在检验员检验能力鉴定中，Kappa分析通过收集检验员对同一批样本的检验结果以及样本的真实结果，来计算Kappa值。根据Kappa值的大小，可以评估检验员的检验能力，并为后续的培训和提升提供参考依据。Kappa分析具有一些优点，如客观性和准确性高，可消除评估者之间的主观差异。

在介绍卡方检验之前，我们首先需要介绍一种统计学思想“假设检验”，其基本逻辑是：根据所获样本，运用统计学方法对总体的某种假设作出检验和判断.假设检验又可分为参数假设检验和非参数假设检验，而列联表的独立性检验（又称卡方检验）就是非参数假设检验的一种.我们首先明确卡方检验最基本的目的：“卡方检验主要用于分析两个分类变量的相关关系.所谓分类变量，指的是取值为离散值的变量，比如“性别”就是一个分类变量，它的取值只有“男”和“女”.

方差分析常常对应因子（因素）是离散的（比如被分为几个组），响应变量为连续性数据（比如花萼的长度）分析，而回归则是因子（因素）和响应变量都是连续性数据，这尤其在线性回归中得到了充分的体现。存在显著差异，常用于两两之间对比，比如不同学历（专、本、硕）对购买意愿有差异，进一步分析专、本之间的购买意愿差异、专、硕之间的购买意愿差异、本、硕之间购买意愿差异。多因素方差分析用于研究多个定类数据（自变量）对于一个定量数据（因变量）的差异性分析，比如研究不同学历、不同年龄段、不同职业对商品购买意愿的差异分析。

与线性模型中的参数估计值不同，非线性模型中的参数估计值的解释不一致。散点图显示在人口和时间之间似乎有很紧密的关系，但是此关系是非线性的，因此需要使用“非线性回归”过程的特殊估算方法。通过建立适当的方程，如 Logistic 人口增长模型，我们可以获得对模型的适当估计，从而对没有实际进行测量的时间点的人口进行预测。只有在指定的函数能够准确描述因变量和自变量的关系的情况下，结果才是有效的。即使指定了模型的正确的函数形式，如果使用不合适的起始值，模型也可能不收敛性，或者可能得到局部最优的解，而不是全局最优的解。

RFM分析模型是一种用于客户细分和价值评估的常用工具。RFM代表了三个指标：最近一次购买（Recency）、购买频率（Frequency）和消费金额（Monetary）。通过对这些指标的分析，可以将客户分为不同的细分群体，以便更好地了解客户行为和价值，并制定相应的营销策略。具体来说，RFM分析模型的三个指标含义如下：最近一次购买（Recency）：衡量客户最近一次购买产品或服务的时间间隔。较短的时间间隔通常表示客户更加活跃和忠诚。

回归是一种技术，用于建模和分析变量之间的关系，并且经常是它们如何贡献的方式，并与一起产生的特定结果相关。从简单情况开始，单变量线性回归是一种用于使用线性模型(即线)来模拟单个输入自变量(特征变量)和输出因变量之间的关系的技术。然而，L1范数解决方案确实具有稀疏性，这使得它可以与稀疏算法一起使用，这使得计算的计算效率更高。L1范数具有产生具有零值或具有很小的大系数的非常小值的许多系数的属性。在套索和岭回归之间进行权衡的一个实际优势是，它允许Elastic-Net回归在旋转的情况下继承岭回归的一些稳定性。

偏最小二乘法是一种新型的多元统计数据分析方法，于1983年由S.Wold和C.Albano等人首次提出。偏最小二乘法实现了，在一个算法下，可以同时实现回归建模（多元线性回归）、数据结构简化（主成分分析）以及两组变量之间的相关性分析（典型相关分析）。PCA方法虽解决了自变量共线性的问题，但是并没有考虑自变量主元对于因变量变化的解释作用。所以删除的次要主元有可能包含对回归有益的信息，而保留的主元有可能会夹杂一些对回归模型输出无益的噪声。

层次聚类是在不同的“层次”上对样本数据集进行划分，一层一层地进行聚类。就划分策略可分为自底向上的凝聚方法和自上向下的分裂方法。

线性判别分析是一种很重要的分类算法，同时也是一种降维方法（这个我还没想懂）。和 PCA 一样，LDA 也是通过投影的方式达到去除数据之间冗余的一种算法。如下图所示的 2 类数据，为了正确的分类，我们希望这 2 类数据投影之后，同类的数据尽可能的集中（距离近，有重叠），不同类的数据尽可能的分开（距离远，无重叠），左图的投影不好，因为 2 类数据投影后有重叠，而右图投影之后可以很好地进行分类，因为投影之后的 2 类数据之间几乎没有重叠，只是类内重叠得很厉害，而这正是我们想要的结果。

协方差分析亦称“共变量（数）分析”。方差分析的引申和扩大。基本原理是将线性回归与方差分析结合起来，调整各组平均数和 F 检验的实验误差项，检验两个或多个调整平均数有无显著差异，以便控制在实验中影响实验效应（因变量）而无法人为控制的协变量（与因变量有密切回归关系的变量）在方差分析中的影响。

在治疗肝癌的药物研究中，为了提高治疗药物在靶器官——肝脏的浓度，降低在非靶器官如心脏的浓度，设置了3个因素，第一个因素是药物（A），有2个水平，分别为“丝裂霉素+高分子物质+磁性物质”（实验组）和“丝裂霉素”（对照组）；第二个因素是时间（B），有3个水平，分别为给药后15分钟、30分钟和60分钟；第三个因素是器官（C），有两个水平，分别为肝脏和心脏，将60只小鼠随机分为12组（即2*3*3种组合），每组5只，即重复例数为5.观察指标（反应变量）为组织中丝裂霉素的浓度（ug/g）。

典型相关分析（canonical correlation analysis），是对互协方差矩阵的一种理解，是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。典型相关分析最早哈罗德·霍特林首次引入。

相关分析用于分析两个事物之间的关系情况，在现实分析中，相关分析往往有第三变量的影响或作用，而使得相关系数不能真实地体现其线性相关程度。比如，研究身高与肺活量之间的关系，身高与肺活量都同体重有关系，如果不考虑体重的影响，就会得到身高越高，肺活量越大，这显然是不准确的。因此，当存在可能会影响两变量之间的相关性的因素时，就需要使用偏相关分析，以得到更加科学的结论。01.概念偏相关分析用于分析当两个变量都与第三个变量相关时，将第三个变量的影响剔除，只分析另外两个变量之间的相关程度。02.案例应用。

由单因素方差分析案例中，为研究郁金对低张性缺氧小鼠存活时间的影响，将36只小鼠随机生成A、B以及 C 三组，每组12个，雌雄各半，分别以10g/kg、20g/kg、40g/kg三种不同剂量的郁金灌胃，各组小鼠均同时置于放有钠石灰的250ml密闭广口瓶中，观察并记录小鼠存活时间。

除此之外，有序Logit回归模型涉及到多类连接函数，SPSSAU默认使用logit连接函数，如果模型没有特别的要求，应该首选使用logit连接函数，尤其是因变量的选项数量很少的时候。如果X非常多(比如超过10个)，此时可以先对定类的X与Y进行卡方分析，对定量的X与Y进行方差分析，先看有没有差异关系，将最终有差异关系的X放入有序Logit回归模型中，这样X会较少，并且X与Y均有差异关系，也更可能有影响关系，此时有序Logit回归模型的预测准确率会更高。但现实研究来看logit连接函数的效能很高。

如果胎儿的一般平均死亡概率是很低的，比如10只正常老鼠妈妈产下的胎儿中死亡的频数分别为1,0,2,1,0,0,0,0,1,1，那么这5只患有遗传病5只正常的老鼠妈妈产下的胎儿中死亡的频数比如10,9,0,0,1,2,8,0,9,10就会有更大的变异。cptable包含不同大小的树对应的预测误差，可以用来辅助设定最终的树的大小。有一市场研究公司想预测最终谁会胜出，因此收集到共1847名民众信息，包括选择偏好，性别，年龄，学历等信息进行研究，研究性别，年龄和学历对于总统候选人选择的影响情况，最终做出科学预测。

逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预先给定的水平下进行显著性检验，若显著则该变量不必从回归方程中剔除，这时方程中其他几个变量也都不需要剔除（因为其他几个变量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显著，则该变量需要剔除，然后按偏回归平方和由小到大地依次对方程中其他变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的。

因子分析是指研究从变量群中提取共性因子的统计技术。最早由英国心理学家C.E.斯皮尔曼提出。他发现学生的各科成绩之间存在着一定的相关性，一科成绩好的学生，往往其他各科成绩也比较好，从而推想是否存在某些潜在的共性因子，或称某些一般智力条件影响着学生的学习成绩。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子，可减少变量的数目，还可检验变量间关系的假设。

在聚类的背景下，通过针对前两个成分绘制观测值，然后按聚类对它们进行着色，我们可以可视化我们的高维数据集，并且我们希望看到不同类中的观测值。聚类分析则可以采用多种不同的算法，如K均值聚类、层次聚类、密度聚类等，这些算法基于不同的相似性度量标准和优化目标，将数据划分为不同的簇。聚类分析的结果则是一组数据簇，每个簇内的数据点具有相似的特征或属性，但不同簇之间的数据点则具有较大的差异。而聚类分析则是一种无监督的学习方法，它不需要事先知道数据的分类信息，而是根据数据点之间的相似性，将数据划分为若干个不同的簇或类别。

​内容效度又称逻辑效度，是指项目对欲测的内容或行为范围取样的适当程度，即测量内容的适当性和相符性。成就测验和熟练测验特别注重这种效度。由于这种衡量效度的方法必须针对课程的目标和内容，以系统的逻辑方法详细分析题目的性能，故又称课程效度或逻辑效度。内容效度又称逻辑效度，是指项目对欲测的内容或行为范围取样的适当程度。如，教师为了了解学生在某一学科或某一课题上对知识的掌握情况，若时间许可，可以进行一个全面的考试，包含所有有关的内容，这显然行不通。

(Total Unduplicated Reach and Frequency)是累计净到达率和频次分析的简称。T，total，累计U，不重复，删除重复的样本R，到达率，计算不重复的样本F，频次，计算各样本的重要性。

在市场研究领域，联合分析已经成为一种在世界上最被广泛使用的定量分析方法之一。到目前为止，许多学者和专家都把这种方法视为是最有用的定量研究工具。在世界范围内，每年有数以万计的联合分析项目进行，它在市场研究领域的应用覆盖到：1、产品优化和产品线优化 衡量产品构成中具体特征的感知价值，帮助我们理解影响产品接受度的重要因素，从而从多种角度优化开发产品和产品线，包括但不限于 偏好份额最大化，收益/利润最大化，品牌替代最小化，品牌组合效果最优化等等。

PSM模型，即价格敏感度测试，该模型是在70年代由Van Westendrop所创建，其目的在于衡量目标用户对不同价格的满意及接受程度，了解其认为合适的产品价格，从而得到产品价格的可接受范围及合理定价区间。该模型起初主要用于单一产品的价格测试，整个价格测试过程完全基于被访者的自然反应，没有考虑任何竞争对手的产品功能、定价策略，甚至没有考虑自身产品的任何成本信息、定价策略等。因此PSM模型相对适用于竞争对手较少的新品或者在行业内处于头部地位的产品。

NPS（Net Promoter Score），净推荐值，又称净促进者得分，亦可称口碑，是一种计量某个客户将会向其他人推荐某个企业或服务可能性的指数。它是最流行的顾客忠诚度分析指标，专注于顾客口碑如何影响企业成长。通过密切跟踪净推荐值，企业可以让自己更加成功。净推荐值最早是由贝恩咨询公司客户忠诚度业务的创始人弗雷德里克·雷赫德（Frederick Reichheld）在2003哈佛大学商务回顾文章“你需要致力于增长的一个数字”的文章中提到，随后在他的书“终极疑问：驱动良性利润和真正发展”中出现。

KANO模型是东京理工大学教授狩野纪昭（Noriaki Kano）发明的对用户需求分类和排序的有用工具通过分析用户对产品功能的满意程度，对产品功能进行分级，从而确定产品实现过程中的优先级。KANO模型是一个典型的定性分析模型，一般不直接用来测量用户的满意度，常用于识别用户对新功能的接受度。帮助企业了解不同层次的用户需求，找出顾客和企业的接触点，挖掘出让顾客满意至关重要的因素。

使用乘积系数检验法进行中介作用检验，研究家庭氛围对家庭幸福感的影响中，父子沟通和母子沟通的中介作用，Bootstrap抽样法检验得到，系数a*b的95%置信区间均不包含0，父子沟通和母子沟通两个中介变量均表现为完全中介作用，分析结束。

结构方程模型（Structural equation modeling, SEM）是一种融合了因素分析和路径分析的多元统计技术。它的强势在于对多变量间交互关系的定量研究。在近三十年内，SEM大量的应用于社会科学及行为科学的领域里，并在近几年开始逐渐应用于市场研究中.顾客满足度就是顾客认为产品或服务是否达到或超过他的预期的一种感受。结构方程模型（SEM）就是对顾客满足度的研究采用的模型方法之一。其目的在于探索事物间的因果关系，并将这种关系用因果模型、路径图等形式加以表述。

很多心理、教育、社会等概念，均难以直接准确测量，这种变量称为潜变量（latent variable），如智力、学习动机、家庭社会经济地位等等。因此只能用一些外显指标（observable indicators），去间接测量这些潜变量。传统的统计方法不能有效处理这些潜变量，而结构方程模型则能同时处理潜变量及其指标。传统的线性回归分析容许因变量存在测量误差，但是要假设自变量是没有误差的。结构方程模型常用于验证性因子分析、高阶因子分析、路径及因果分析、多时段设计、单形模型及多组比较等。

首先，我们先回顾一下桑基图：图4.2-1观察上图可以发现，我们需要计算四个数据：每个节点的pv/sv、每个节点的转化率、节点间的pv/sv、节点间的转化率。节点pv/sv = 当前节点在当前层次中的pv/sv总和节点转化率 = ( 节点pv/sv ) / ( 路径起始节点pv/sv )节点间pv/sv = 上一级节点流向当前节点的pv/sv节点间转化率 = ( 节点间pv/sv ) / ( 上一级节点pv/sv )再来看下存储在Clickhouse中的路径数据。

在互联网数据化运营实践中，有一类数据分析应用是互联网行业所独有的——路径分析。路径分析应用是对特定页面的上下游进行可视化展示并分析用户在使用产品时的路径分布情况。比如：当用户使用某APP时，是怎样从【首页】进入【详情页】的，用户从【首页】分别进入【详情页】、【播放页】、【下载页】的比例是怎样的，以及可以帮助我们分析用户离开的节点是什么。在场景对应到具体的技术方案设计上，我们将访问数据根据session划分，挖掘出用户频繁访问的路径；

对应分析能够把一个交叉表结果通过图形的方式展现出来，用以表达不同变量之间以及不同类别之间的关系。对应分析实际也是降维，比较适合分类变量的研究。对应分析主要用于研究分类变量构成的交叉表，揭示变量之间的关系，并将交叉表的信息用图形的方式展现。可以揭示同一变量各个类别之间的差异，也可以揭示不同变量各个类别之间的对应关系。

dissertation在数据分析中会出现效度分析检验性因子分析，验证性因子分析是用于测量因子与测量项(量表题项)之间的对应关系是否与研究者预测保持一致的一种研究方法。验证性因子分析(CFA)用于验证对应关系。验证性因子分析CFA的主要目的在于进行效度验证，同时还可以进行共同方法偏差CMV的分析。效度有很多种，比如内容效度，结构效度，聚合(收敛)效度，区分效度等。

验证性因子分析（confirmatory factor analysis, CFA）是用于测量因子与测量项(量表题项)之间的对应关系是否与研究者预测保持一致的一种研究方法。与验证性因子分析CFA相对应的为探索性因子分析，二者的区别在于，验证性因子分析(CFA)用于验证对应关系，探索性因子分析(EFA)用于探索因子与测量项(量表题项)之间的对应关系。如果是成熟的量表，研究者可同时使用验证性因子分析CFA，和探索性因子分析(简称因子分析,EFA)用于验证量表的效度。

在绩效评价问卷研究中，如果涉及计算权重，通常有以下几种做法，分别是AHP层次法、优序图法、熵值法、因子分析法（探索性因子和验证性因子分析）。在问卷研究权重里面，分别是AHP层次法和优序图法尤为重要。汇总说明如下：如果问卷研究中涉及到重要性打分，或者排序，或者量表，此类的特点是分值越高代表越重要，或者越认可。那么可以理解为重要性越高，权重也会越高。因此可以利用此信息进行权重计算，分别使用到AHP层次分析法和优序图法，此两种研究方法均是利用相对重要性进行权重计算。

KS（Kolmogorov-Smirnov）统计量由两位苏联科学家A.N.Kolmogorov和N.V.Smirnov提出。在风控中KS通常用于评估模型区分度，区分度越大，说明模型风险排序能力越强。

主要显示样本是否有系统缺失，此处可见，共有171个缺失值，有效率96.7%