qq_36130719的博客

本专栏以MATLAB基础知识讲解为主，相信有很多刚入门的理工科小伙伴，对于MATLAB这个软件还不是很熟悉，在这里给各位学弟学妹们一个小建议：大学期间数模竞赛如果有机会尽量去参加，一方面是对自己所学知识的一次检验，另外，如果能在比赛中获得好名次的话，对你之后的求职升学等方面都会有很大助力！本专栏的进阶版参见博主的这个专栏，里面详细列举了各类算法的算法原理、应用案例及多种编程语言的代码实现，配合基础篇一起学习能达到事半功倍的效果哦。

Kappa一致性系数是由 Cohen 在 1960 年首次提出，用来评估两个或多个观察者对样本分类的一致性程度。其中，PA 表示观察一致概率，PE 表示期望一致概率。PA 反映了两位观察者分类结果的实际一致程度，PE 反映了两位观察者分类结果的随机一致概率。Kappa 值的范围为–1 到 +1。kappa 值越高，一致性就越强。当：Kappa =1，为完全一致；Kappa=0，一致的情况只是碰巧发生;一致性越强，Kappa 值越高；

卡方检验，是用途非常广的一种假设检验方法，它在分类资料统计推断中的应用，包括两个率或两个构成比比较的卡方检验；多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。卡方检验属于非参数检验，不存在具体参数，且不需要有总体服从正态分布的假设，是用途非常广泛的一种假设检验方法，主要用于研究定类与定类数据之间的差异关系，包括两个率或两个构成比比较的卡方检验；多个率或多个构成比比较的卡方检验以及分类资料的相关分析。卡方检验分为拟合优度检验和独立性检验。

方差分析是研究X对于Y的差异关系，此处X是定类数据，Y是定量数据。当X的个数或者Y的个数超过一个时，其又可具体进行细分，如下表格所述。如果X仅1个且Y仅1个，此时称作单因素方差分析，此种情况的使用频率最高，绝大多数分析均是此种单因素方差分析，在SPSSAU通用方法的‘方差’按钮即可实现，并且SPSSAU可让放入多个X，循环进行单因素方差分析。

共线性，即同线性或同线型。统计学中，共线性即多重共线性。多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。一般来说，由于经济数据的限制使得模型设计不当，导致设计矩阵中解释变量间存在普遍的相关关系。完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。

非线性回归是回归函数关于未知回归系数具有非线性结构的回归。常用的处理方法有回归函数的线性迭代法、分段回归法、迭代最小二乘法等。非线性回归分析的主要内容与线性回归分析相似。如果回归模型的因变量是自变量的一次以上函数形式，回归规律在图形上表现为形态各异的各种曲线，称为非线性回归。这类模型称为非线性回归模型。在许多实际问题中，回归函数往往是较复杂的非线性函数。非线性函数的求解一般可分为将非线性变换成线性和不能变换成线性两大类。

RFM分析主要由3个指标组成，分别为R（Recency，近度）F（Frequency频度）M(Monetary,额度）组成。RFM是三个指标的缩写：Recency:最近一次消费距离现在的时间，该值越小越好；Frequency：某段时间内的消费次数，这个值越大越好；Monetary：某段时间内的消费金额，对于企业来说，消费自然越多越好。这三个维度需要根据实际业务确定，比如针对游戏行业，R可以定义为最近一次充值距离现在的时间，F可以定义为某段时间的充值次数，M为某段时间的充值金额。指标解释意义。

RFM模型是衡量客户价值和客户创造利益能力的重要工具和手段。在众多的客户关系管理(CRM)的分析模式中，RFM模型是被广泛提到的。该机械模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱3项指标来描述该客户的价值状况。R是指用户的最近一次消费时间，用最通俗的话说就是，用户最后一次下单时间距今天有多长时间了，这个指标与用户流失和复购直接相关。F是指用户下单频率，通俗一点儿就是，用户在固定的时间段内消费了几次。这个指标反映了用户的消费活跃度。

Lasso 回归也叫套索回归，是通过生成一个惩罚函数是回归模型中的变量系数进行压缩，达到防止过度拟合，解决严重共线性的问题，Lasso 回归最先由英国人Robert Tibshirani提出，目前在预测模型中应用非常广泛。一般线性回归模型的目标是最小化残差平方和，即通过拟合一个线性方程来预测目标变量。然而，在实际问题中，可能存在大量的自变量，其中一些可能对目标变量的预测能力较弱或冗余。

偏最小二乘法是一种新型的多元统计数据分析方法，它于1983年由伍德(S.Wold)和阿巴诺(C.Albano)等人最早提出来的，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。这是多元统计数据分析中的一个飞跃。诸如基因组学、转录组学、蛋白组学及代谢组学等高通量数据分析，由于自变量数目大于病例数（未知数大于方程个数），无法直接使用传统的统计分析模型，最小二乘法有时会失效，遇到这种情况，需要先降维处理。

曲线回归（curvilinear regression）是指对于非线性关系的变量进行回归分析的方法。曲线回归方程一般是以自变量的多项式表达因变量。方法是：根据数据的特点先进行某些变换（如对数变换、平方根变换等），如果变换后得到线性模型，则进行线性回归；如果变换后仍得不到线性模型，则可以用曲线拟合的方法对原始数据进行拟合，确定曲线回归方程。

层次聚类是在不同的“层次”上对样本数据集进行划分，一层一层地进行聚类。就划分策略可分为自底向上的凝聚方法和自上向下的分裂方法。

分层聚类法（hierarchical cluster method）一译“系统聚类法”。聚类分析的一种方法。其做法是开始时把每个样品作为一类，然后把最靠近的样品（即距离最小的群品）首先聚为小类，再将已聚合的小类按其类间距离再合并，不断继续下去，最后把一切子类都聚合到一个大类。一般来说，当考虑聚类效率时，我们选择平面聚类，当平面聚类的潜在问题（不够结构化，预定数量的聚类，非确定性）成为关注点时，我们选择层次聚类。此外，许多研究人员认为，层次聚类比平面聚类产生更好的聚类.

岭回归分析（Ridge Regression）是一种改良的最小二乘法，其通过放弃最小二乘法的无偏性，以损失部分信息为代价来寻找效果稍差但回归系数更符合实际情况的模型方程。简单来说，岭回归是通过引入k个单位阵，使回归系数可以估计，得到的回归估计值要比简单线性回归系数更加稳定，也更加接近真实情况。虽然引入单位阵会导致信息丢失，但同时也换来回归模型的合理估计。

LDA的目标是投影后最大化类间均值，最小化类内方差。通俗地解释就是，投影后同类别数据的投影点尽可能接近，离组织的中心越近越好：不同类别数据的投影点的中心点之间的距离尽可能大，类别间的数据点区分得越明显越好。假设前图中用方块和三角来区分两类样本，如下图所示。这些数据特征是二维的，现将这些数据降维到一维的直线上。使用PCA的降维方法即左图的投影方向，两类样本无法分开；右图的投影方向，两类样本没有混合，而且既让同一个类别的样本投影点尽可能接近，又使方块和三角数据中心之间的距离尽可能大。

协方差分析是。

协方差分析是把线性回归与方差分析结合起来，检验两个或多个修正均数间有无差别的方法。例如在营养研究中，不考虑动物食量的差别，直接用方差分析来比较不同饲料组动物所增体重的均数，以评价不同饲料的营养价值是不够恰当的。因为动物体重的增加，除与食物的营养价值有关外，还与各组动物的食量有关。而动物食量的多少又往往未加控制。若用直线回归的方法找出食量与所增体重的关系，求得当食量化为相等时(即扣除食量的影响)，各饲料组动物所增体重的修正均数，然后再用方差分析检验各修正均数间有无差别，这才比较合理。

当X为定类数据，Y为定量数据时，通常使用的是方差分析进行差异研究。X的个数为一个时，我们称之为单因素方差；X为2个时则为双因素方差；X为3个时则称作三因素方差，依次下去。当X超过1个时，统称为多因素方差。在实验研究中，比如研究者测试某新药对于胆固醇水平是否有疗效；研究者共招募72名被试，男女分别为36名，以及男女分别再细分使用新药和普通药物；同时高血压患者对于新药可能有干扰，因而研究者将被试是否患高血压也纳入考虑范畴中。因而最终，X共分为三个，分别是药物(旧药和新药)、性别，是否患高血压；Y为胆固醇水平。

三因素方差分析假设您的重复数据来自高斯分布。虽然该假设对大样本来说不太重要，但对小样本来说却很重要，尤其是不相等的样本。Prism未检验违反这一假设。如果您确实认为您的数据并非从高斯分布中抽样得到（没有变换会使分布服从高斯分布），则您应该考虑进行非参数方差分析。Prism未提供这种检验。方差分析还假设所有重复数据组的总体SD相同，SD之间的任何差异均因随机抽样所致。

图2 | 双因素方差示例（日期、性别和体重）双因素方差分析和单因素方差分析一样，是一种基于假设的测试。然而，在双因素方差分析中，每个样本以两种方式定义，并因此被放入两个分类组。再想想我们的海象，如果研究人员的问题是：「海象在早期或晚期交配季节更重，这是否取决于海象的性别？」研究人员可以使用双因素方差分析。在这个例子中，「交配季节的月份」和「海象的性别」都是因素，也就是说，总共有两个因素。再次，必须考虑每个因素的组，对于「性别」，只有两个组「雄性」和「雌性」。

均值比较的假设检验是数据分析最重要的分析内容之一，根据参与比较的样本数量不同，使用的假设检验方法也不同。方差分析的结果只能检验出三个以上的总体均值完全相同或不完全相同。当不完全相同时，至于是哪个或哪些总体均值与其它总体均值不同则是不能获知的。因此方差分析结束以后还需要做事后多重检验，分析出到底是哪个或哪些变量均值之间存在差异。分析个人受教育程度（定类变量）是否给个人的经济收入（定量变量）带来显著性影响。

序次变量尤其常见于问卷调查中，如以下几个常见的问题：1、问题：你觉得自己幸福么？选项：a）很不幸福 b）不太幸福 c）还过得去 d）有点幸福 e）非常幸福2、问题：您对我市的公交乘坐体验满意么？选项：a）很不满意 b）不太满意 c） 满意 d）非常满意3、问题：您同意他的观点么？选项：a）非常不同意 b）不同意 c）部分同意 d）同意 e）非常同意4、发生交通事故时，您的受伤程度是？选项：a）未受伤 b）轻伤 c）重伤。

在主菜单点击Analyze→Regression→Ordinal...

现收集到银行贷款客户的个人、负债信息，以及曾经是否有过还贷违约的记录，试分析是否违约的相关因素，并构建模型用于贷款违约风险预测。（数据来源：SPSS自带案例数据集）数据上传SPSSAU后，在 “我的数据”中查看浏览原始数据，前5行数据如下：图1 “我的数据”查看浏览数据集。

多重线性回归：自变量和因变量是连续变量；资料符合正态性、线性等条件要求；主要用于研究一个因变量与多个自变量之间依存关系。Logistic回归：主要用于筛选疾病的危险因素，作病因分析；控制和校正混杂因素的影响；其因变量是分类变量，自变量可以是分类变量，也可以是连续变量；自变量X与因变量Y之间无线性关系；属于概率型非线性回归方法。

为探讨糖尿病与血压、血脂等因素的关系，某研究者对56例糖尿病患者和65例对照者进行病例-对照研究，收集了性别、家族史、吸烟、血压、总胆固醇、甘油三酯、高密度脂蛋白7个因素的资料，试着分析这些因素对糖尿病是否有影响。

逐步回归分析（stepwise regression analysis），选择自变量以建立最优回归方程的回归分析方法。最优回归方程，指在回归方程中，包含所有对因变量有显著影响的自变量，而不包含对因变量影响不显著的自变量。过程是：按自变量对因变量影响效应，由大到小逐个把有显著影响的自变量引入回归方程，而那些对因变量影响不显著的变量则可能被忽略。另外，已被引入回归方程的变量在引入新变量后，其重要性可能会发生变化，当效应不显著时，则需要从回归方程中将此变量剔除。

所谓的分层，是指逐个或逐层增加自变量后对回归模型的改变有无统计学意义的研究。自变量是一层一层叠加上去的，为的就是看每增加一个或多个自变量后模型的改变有没有统计学意义，本质上是专门研究后来居上的新增自变量的重要性。分层回归是建立在回归分析基础上，用于研究多个回归模型之间的差异。分层回归将核心研究的变量放在最后一步进入模型，以考察在排除了其他变量的贡献的情况下，该变量对回归方程的贡献。如果变量仍然有明显的贡献，那么就可以做出该变量确实具有其他变量所不能替代的独特作用的结论。

PCA的主要目标是将特征维度变小，同时尽量减少信息损失。就是对一个样本矩阵，一是换特征，找一组新的特征来重新表示；二是减少特征，新特征的数目要远小于原特征的数目。通过PCA将n维原始特征映射到维（k

主成分分析（即PCA，Principal Component Analysis）是一种常用的无监督降维方法。既然讨论降维，一定是假设原始数据的信息表示存在冗余，并且PCA可以甄别和摒弃这种冗余。首先，数据在采集时很难保证各特征维度完全独立。比如，当我们想按照大小划分一些西瓜，却并不了解圆周率。我们切开西瓜，既测量了直径又测量了周长，但二者任取其一都不会损失信息。其次，数据的某些特征在样本间存在很大分野，而有些特征则模棱两可。比如，我们想把西瓜分成沙瓤的和脆瓤的，测了水分、糖分、直径和颜色。

Kmeans聚类（K均值聚类）算法的第一步是：“预将数据分为K组，则随机选取K个对象作为初始的聚类中心”，此第一步骤带有一定的随机性，但聚类算法的后续步骤会不停的迭代，最终得到最佳结果；k-prototype聚类时可结合平均轮廓系数值判断聚类个数，轮廓系数值介于[-1,1]之间，该值越大意味着越优（类似地，Kmeans聚类时也可使用该指标），各聚类类别的特征是否与实际相符，各聚类类别的样本量是否均匀，以及分析结果中方差分析和卡方检验的结果综合判断聚类个数。聚类分析的具体聚类方法为K均值聚类；

异常值可能是与整体数据情况偏离很大的数据点（常见的3σ准则），也可能是超过某个不合理范围的数据点，在分析中应该首先排除掉异常值，异常值检测逻辑是对变量的数据集（类似于列）按照设置的或值进行判定，筛选出落在异常值检测范围内的数据，并对异常值进行置空或者是填补为其它有效值。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。一般在问卷回答中，若是对于不同的问题，回答情况都是一样的，说明这个样本可能是乱填的，我们就有必要将它进行识别，然后确定为无效样本，进行标记或者最直接删除该样本（删除整行数据）。

问卷中如果一个样本同时有很多相同的数字，或者很多不填空的缺失数据。此时说明该样本是无效的，可使用无效样本功能，一般以70%作为标准即可。特别说明，SPSSAU会新生成一个标题，名称类似为：“无效样本处理_****_1表示有效0代表无效”，那么后续的分析分析的时候则需要筛选出有效样本进行分析，即对新生成标题筛选出数字为1然后再分析。如果数据有异常值，比如本身数据全部应该大于0，但却出现小于0的数字【可使用频数分析，或者描述分析，箱线图等进行检查】。此时可使用异常值功能，将异常数据处理成null值。

TURF指累计不重复到达率和频率分析，在资源有限的情形下，选择最有效策略或营销组合，用尽可能少的资源覆盖最大人群。TURF应用于多选题分析，分析选项组合最大覆盖人群，例如：进行信息获取渠道调研，结论为A渠道:20%B渠道:15%C渠道:20%如果选择其中两个渠道投放广告，是否选择渠道A和C为最优？答案是不一定，还需要分析各选项的人群重合度。假如A与C的人群重合为10%，A与B人群没有重合。

联合分析法是一种多元的统计分析方法，是一种定量研究消费者选择偏好的方法，用于估测消费者对一些能够详细定义的产品属性的相对重要性和属性水平的效用的评价。联合分析（conjoint analysis），早期称为联合衡量，是1964年由数理心理学家R.Luce和统计学家J.Tukey提出来的。1971年由P. Green和V.Rao引入消费者行为研究领域，成为该研究领域内最重要的研究方法之一。1978年F.Carmone、P. Green和A.Jain等人将联合衡量改为联合分析。

信度是衡量调查结果稳定性或者一致性程度的中重要指标，可以反映客观事物被测特征真实程度的度量指标，一般而言，两次或者两个测量的结果越一致说明误差越小。信度一般反映在相同条件下，对同一客观实物测量若干次，测量结果的相关符合程度或者一致程度，说明数据的可靠性。

PSM，全称为价格敏感度测试，是在产品生命周期中评估品牌或者品牌组合的定价策略及市场份额。价格敏感度测试是为衡量顾客对不同价格的满意及接受程度、了解顾客认为合适的产品价格所做的测试研究，可通过描绘价格趋势图、气泡图、正态分布图等方法，为客户确定产品/服务的合适价格提供重要的参考依据。在新产品上市前需要对产品在目标消费人群的可接受价格水平作深入研究，在作新产品定价测试时,一般不事先设定价格，而是通过从消费者那里得到产品价格的可接受范围。

2003年Fred Reichheld在哈佛商业评论发表文章《The One Number You Need toGrow》提出净推荐值(Net Promoter Score)的概念，简称NPS。2006年Fred Reichheld出版《终极问题:创造良性利润,促进成长》系统介绍NPS，并在2011年出版《终极问题2.0 ：客户驱动的企业未来 》把NPS发展为客户体验管理指标体系。随着全球各地的公司投入实践，目前它已然成为衡量客户满意度的最流行指标之一。

NPS（Net Promoter Score）是由贝恩咨询公司的Fred Reichheld 2003年在《哈佛商业评论》的文章 《The One Number You Need to Grow》首次提出的，他在2006出版了有关NPS的第一本书《终极问题:创造良性利润,促进真成长》。随后，随着NPS在全球各大企业实践应用的增多，Fred总结经验，并把NPS从一个指标提炼上升到一个系统，2011年出版了 《终极问题2.0 ：客户驱动的企业未来 》。NPS指标的提出/起源。

概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。如果用一个词来形容概率图模型（Probabilistic Graphical Model）的话，那就是“优雅”。对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布，非常“优雅”地解决了问题。