第二章 业务指标分析(大数据分析）

一、定义

业务分析是一系列短期战略与战术协议。它可以为企业提供快速的评估和路线图，帮助企业识别机遇和规划转型路径。业务分析可以通过分析，帮助企业开启实现价值和竞争优势的新途径。

业务分析可以帮助企业构建业务分析，商业智能，绩效管理，企业信息管理，和企业内容管理等方面的能力，从而可以辨认出关键的市场模式，降低管理成本并提高利用效率，积极主动地管理风险，实现利润的增长。

作为一个数据分析师要明确数据分析是用于解决企业的业务问题，并帮助企业更准确地预测未来，发现以前无法预见的商机，并回答下述问题: 1企业需要利用数据分析达到的业务目标 2数据分析所包括哪些内容3如何进行数据分析。

二、业务问题构建

数据分析师所做的工作是要从识别企业的业务问题开始，然后才开始解决这个问题。在数据分析中，通常称这个过程为“问题构建”，它是数据分析中比较重要的一环。那么数据分析师如何能够对一个或多个业务问题来进行“问题构建”？所谓问题构建要满足下述3点要求。一是要有合理的逻辑，第二要用有明确的目标，第三要有数据的支持。为了做到这3点，需要数据分析师具有非常敏锐的洞察力，熟悉所在企业的业务，和拥有良好的数据科学领域的修养，包括:1基于常识对所观察的事物保持好奇心。2从复杂的表面中识别问题本质。3具有相关的工作经验。4需要具备解决问题的方法和能力。5需要关注当前企业面临的宏观经济面，行业状况，和基本面。6利用现有的理论或过去的研究成果。7利用企业项目计划书。

在数据分析开始之前，数据分析还未到来。预感或直觉可能是决定继续进行某种分析的推动力。定量数据分析的最终目的是使用一些数据来检验目前你的预感。这就是定量分析和定性的区别，数据分析人员应当用数据模型来检验他们的预感。

三、问题识别

为了对业务问题进行“问题构建”，在问题识别这个阶段，最重要的事情是充分理解该项业务的核心问题是什么？以及这个问题在企业中的重要程度。在识别问题阶段，数据分析人员需要找到企业内部利益相关者并认真思考他们对待你即将处理问题的态度。你需要寻找与问题相关的利益相关者，下面问题的提示或许对你有帮助。

1哪些人员和将要进行数据分析项目的成功有关联？

2他们是否对存在的问题和解决方案有一个大概的了解？

3他们是否有能力提供必要的资源？是否有能力推进定量分析项目成功所必须的业务变革？

4他们是否都支持在决策制定过程中使用数据分析人员的分析方法和数据？

5你所推荐的分析案例和交流方式是否与他们常用的思维与决策方式相一致？

6你是否计划向他们提供定期反馈和阶段性成果报告？

对利益相关者的管理。对将要立项的数据分析项目，识别所有的与项目有关的利益相关者，并记录这些利益相关者的需求。评估和分析利益相关者的感兴趣的方向，及对数据项目的影响，通过这些了解来管理利益相关者的预期。

四、竞争者分析

竞争者分析的内容包括识别现有的直接竞争者和潜在竞争者的现状和未来动向，收集与竞争者有关的数据库，对竞争者的战略意图和各层面的战略进行分析，识别竞争者的长处和短处，洞察竞争者在未来可能采用的战略和可能做出的竞争反应。

竞争者分析目的是为了准确判断竞争对手的战略定位和发展方向，并在此基础上预测竞争对手未来的战略，准确评价竞争对手对本组织的战略行为的反应，估计竞争对手在实现持续竞争优势方面的能力。

数据分析人员应当具有从市场和行业两个方面来识别企业的竞争者的相关业务知识。具体来说，要识别竞争者的策略，判断竞争者目标，并评估竞争者的优势和劣势。数据分析人员还能够帮助管理层确定竞争者的战略，及判断竞争者的反应模式。

六、市场机会识别

市场机会识别是对市场机会的寻找，识别过程，是企业管理者最重要的任务之一。一个好的市场机会必须满足以下两个条件:

1分析表明一个需求未被满足的状态

2通过提供新的产品是能够满足该需求

市场机会往往存在于消费者还未被满足的需求当中。数据分析人员利用数据分析手段对当前市场机会进行挖掘与筛选，并研究当企业内部与外部环境发生变化时，如政府颁布新的法规，经济环境发生变化，发现新的用户群体，挖掘出新的用户需求，研发出解决用户需求的新技术，供应商采用新型工艺，新的市场机会就会出现。

七、风险控制

风险控制是指风险管理者采取各种措施和方法，消灭或减少风险事件发生或出现，风险控制的目标是减少风险事件发生时对企业造成的损失。

数据分析人员需掌握企业风险控制中常用的四种基本方法，它们分别是风险回避，损失控制，风险转移，和风险保留。风险回避是企业管理者处理风险的一种有效且普遍的方法。企业通过中断风险源，将避免可能产生的潜在损失，或完全避免特定的损失风险。但是这样的方式也可能使企业失去从风险中获得收益的可能性。此外值得注意的是，有些风险是无法避免的。

八、营销诊断

营销诊断非常形象地诠释了这一企业的经营活动。数据分析师能够理解下述标准的流程: (1)建立监控指标(2)设定判断标准(3)发现异常情况(4)细分问题来源(5)给出诊断建议

数据分析人员应具有一定的诊断能力，在企业目前的条件以及竞争环境下，通过全面的营销检查，发现目前所存在的营销问题，并找到解决方案的过程。最终通过提供营销诊断书的形式提供给相关人员。当我们完成对一个业务问题的“问题构建”后，接下来我们需要“业务理解”，就是具体分析哪些业务内容？显然，数据分析要发挥对企业营销业务的驱动作用，其分析内容必然围绕企业市场营销展开，因此首先需要知道什么是市场营销。

一、市场营销

市场营销定义是指企业管理者计划和执行关于商品和服务的定价，促销，和分销，以创造符合企业目标的一种过程。市场营销既是一种组织职能，也是为了组织自身及利益相关者的利益而创造，传播，及传递价值给客户，并进行客户关系管理的一系列过程。而根据现代市场营销学之父科特勒的思想，所谓市场营销，是指企业在现有营销环境下，根据目标消费者的需求，利用现有的资源和能力，比竞争对手更快捷，更有效地向目标消费者提供产品和服务，实现企业嬴利以及可持续发展的生产和经营活动。

二、战略分析

企业如何确定自己从事哪些生产和经营活动呢？或者说，企业的战略方向该如何选择？战略分析是通过分析企业的内外环境，包括企业内部诊断和外部环境分析两个部分。

战略方案是根据企业目前所处的营销环境来确定。营销环境泛指一切影响和制约企业营销活动的内部和外部环境的总和。企业的营销环境包括三个部分内容，首先是企业所处的宏观环境，比如政治，经济，文化，和科技环境，其次是市场环境，比如，行业规模，行业利润，行业生命周期。最后是竞争环境，比如竞争对手，市场份额，市场集中度。数据分析人员可以SWOT分析方法和内外因素评价矩阵方法协助企业相关部门进行判断并得出哪些业务领域具有吸引力，哪些业务领域自己更擅长，从而选择正确的战略方向，确定自己要从事哪些生产和经营活动。

SWOT分析是基于内外部竞争环境和竞争条件下的态势分析，就是将与企业密切相关的各种主要内部优势和劣势，和外部的机会和威胁，通过调查并依照矩阵形式列举出来，把各种因素相互匹配起来加以分析，从中得出决策性结论。在这里，S代表优势，W代表劣势，0表示机会，T表示威胁。

外部因素评价矩阵，也称为EFE矩阵，是一种对外部环境进行分析的工具。基本做法是从机会和威胁两个方面找出影响企业未来发展的关键因素，根据各个因素影响程度的大小确定权重，再按企业对各关键因素的有效反应程度对各关键因素进行评分，最后算出企业的总加权分数。通过该矩阵，企业就可以把自己所面临的机会与威胁总结出来。

数据分析人员应能够帮助企业制定营销战略规划。需要理解营销战略制定过程的基本步骤。第一，把握市场环境分析，第二，掌握市场细分技巧。第三，具有选择目标市场的能力。第四，数据分析人员能够配合业务部门确定市场定位。第五，帮助管理层确定竞争战略。

三、目标市场营销

客观来说，企业的销售对象是特定群体或目标消费者。目标市场营销是由目标消费者决定的。第一，消费者的需求是差异化的。例如，同样是购买手机，年轻人和老年人需求就不同，要开展差异化营销。其次，企业的资源是有限的，很少有企业能满足所有类型消费者的需求。所以我们发现，一方面，消费者需求是不同的，企业需要针对不同的消费者开展差异化营销，而另一方面，企业没有足够资源关注各类消费者，所以选择适合自己的目标消费者就很重要。目标市场营销，是指企业识别各个不同的购买者群体，择其中一个或多个作为目标市场，运用适当的市场营销组合，集中力量为目标市场服务，满足目标市场的需要。由三个部分组成，分别为，市场细分，目标市场选择，和市场定位。

数据分析人员需要熟练使用目标市场营销的方法，配合企业的相关业务和管理部门进行目标市场营销相关的数据收集和模型分析，具体来说要对下述3个方面有深度了解。首先，通过市场细分将市场分成若干个类别。第二，企业从吸引力和竞争力两个角度选择最适合自己的目标市场。第三，企业根据目标市场的需求，明确市场定位并提供相配套的营销组合。所谓市场定位，是指企业在选定的目标市场上，根据自身的优劣势和竞争对手的情况，为本企业产品确定一个位置，树立一个鲜明的形象，以实现企业既定的营销目标。数据分析人员需正确认识到目标市场营销策略是企业明确营销服务对象的关键所在，是支持企业营销业务的一项重要分析内容。

四、消费者分析

消费者分析通过分析消费者所购买商品的购买量，购买频率，购买时间，购买地点，购买动机等五个方面的内容作出相应的数据分析。

消费者偏好是反映消费者对不同产品喜好程度的个性化偏好，是对特定的商品，商店或商标产生特殊的信任，重复，习惯地购买同一商标或品牌的商品。

消费者偏好的一般定义是指消费者在考量商品时所做出的理性的具有倾向性的选择，是消费者认知，心理感受及理性的经济学权衡的综合结果。

消费者偏好主要由当时当地的社会环境，风俗习惯，时尚变化对整个消费者群体或某个特定群体产生的影响所决定。利用消费者偏好，我们可以将消费者划分为4种基本类型的群体。第一种类型为消费者的偏好不稳定型。对这类消费者企业可以劝说这类消费者接受企业提供的定制化方案，如果定制化成功的话，这些消费者就会认为，该定制化符合了他们先前的偏好，并以此为基础。形成他们以后的消费偏好。

第二种类是型消费者的偏好不清晰型。这一类型的消费者可能表现出好的易接受性。比如，一些喜欢喝葡萄酒的消费者，清楚自己没有这方面知识，可能会非常乐意接受有关葡萄酒知识的教育和消费建议。

第三种类型是消费者有着稳定的消费偏好。稳定偏好引导消费者的选择，他们的选择是建立在理性，客观评判的基础上的。

第四种类型的消费者是有清晰的偏好且对自己的偏好有足够的了解。这使他们能正确判断一种企业定制化的商品供给是否真的符合他们的偏好。因此，这些消费者可能是定制化供给很好的潜在顾客，对于营销者为了解他们偏好所做的努力，他们会产生更多的满意感。然而，正由于他们对自身偏好的了解，他们可能很少依赖营销者的建议。

数据分析人员通过收集消费者偏好数据，并利用量化分析方法对消费者的偏好进行分类，以帮助企业进行消费者分析。

由于消费者偏好是指消费者对一种商品的喜好程度。消费者通常根据自己的意愿对可供消费的商品进行排序，这种排序反映了消费者个人的需要，兴趣，和爱好。

消费者偏好分析是企业留住老用户，开拓新用户的关键所在，是支持企业营销业务的一项重要分析内容。从关于市场营销的定义来看，市场营销是从消费者的客观需求出发的。

五、产品分析

产品分析是企业经营活动中的一种，指对产品的产量，品种，和质量3个方面进行分析。对这3个方面可做单项分析，也可做产量，质量，成本的平衡关系分析。产品分析通常包括产品性能分析，产品质量分析，产品价格分析，产品采购分析，产品工艺分析等，并与竞争对手的同类产品进行比较分析。

任何一个产品都是由三层构成的，最里面是核心产品，第二层是外围产品，第三层是外延产品。核心产品是指向顾客提供的产品的基本效用或利益。核心产品也就是顾客真正要购买的利益，即产品的使用价值，

如果我们对产品进行系统包装，包括定位，文化，形象方面，这样的产品称为品牌，而没有包装的只能称为产品。所以，品牌不仅注重产品质量，风格，特色方面，更注重产品文化的树立与引领。

由于现在大多数商品都是买方市场，商品严重过剩，在这种环境下，产品与品牌的关系是品牌是核，产品是表。产品要围绕品牌来打造。产品的品牌是企业向消费者长期提供的一组特定的产品或服务。品牌是给拥有者带来溢价，产生增值的一种无形资产，它的载体是用于和其他竞争者的产品或服务相区分的名称，术语，象征，记号，或其组合，增值来自于消费者心理中形成的关于该产品的印象。

品牌承载的更多是一部分消费者对某个产品或服务的认可，是一种品牌拥有者与顾客购买行为间相互磨合出的产物。由于同类产品越来越多，科技含量越来越高，产品结构越来越复杂，品牌可以方便消费者进行快速产品识别，降低搜寻成本。

企业如果要想让目标消费者选择自己的产品，就要加强品牌建设，通过品牌文化影响目标消费者，这就是品牌建设的方式之一。品牌建设是企业建立有效市场区隔、获取品牌溢价的关键所在，是支持企业营销业务的第一项分析内容。

六、市场营销组合

市场营销组合是指企业根据目标市场的需要，全面考虑企业的任务，目标，资源，以及外部环境，对企业可控制因素加以最佳组合和应用，以满足目标市场的需要，实现企业的销售目标。

美国市场营销专家麦卡锡教授在人们营销实践的基础上，提出了著名的4P营销策略组合理论，是4种基本策略的组合，即产品，定价，渠道，和促销。4P营销策略自提出以来，对市场营销理论和实践产生了深刻的影响。

市场营销组合是企业市场营销战略的一个重要组成部分，是指将企业可控的基本营销措施组成一个整体性活动。市场营销的主要目的是满足消费者的需要。它是制定企业营销战略的基础，做好市场营销组合工作可以保证企业从整体上满足消费者的需求。此外，它也是企业对付竞争者强有力的手段，是合理分配企业

营销预算费用的依据。同样的产品和服务，往往有多家企业提供，这些企业就构成了竞争对手。企业要想在竞争中获胜，就要如定义中所说的，提供产品和服务时要比竞争对手更快捷，更有效。由于营销组合是企业提升自身竞争力的关键所在，是支持企业营销业务的第一项分析内容，数据分析人员通过数据收集和数据分析协助企业做到比竞争对手更快捷，更有效的提供产品或服务。数据分析人员和企业业务人员对营销组合方法进行定量管理，包括在产品规模，产品质量，产品价格，产品渠道，产品促销。并通过数据模型实现企业在人力，物力，和财力资源的优化配置。

二、业务指标

1、用户数据

2、行为数据：访问次数、访问人数、转发率、转化率、K因子（病毒系数）

       转发率 = 转发产品的用户数 /看到该产品的用户数 *100%

店铺转化率 = 产生购买行为的客户人数/所有到达店铺的访客人数*100%

广告转化率 = 点击广告进入推广网站的人数 / 看到广告的人数*100%

K因子 = 发起邀请的用户数 x 转化因子 = 发起邀请的用户数 x 转化率

其中:发起邀请的用户数就是平均每个用户向多少人发出邀请，转化率是接收到邀请的人转化为新用户的转化率。

当K>1时，新增用户数就会像滚雪球一样增大。如果K<1的话，那么新增用户数到达某个规模时就会停止。

3产品数据

产品数据相关的指标共有4类，分别为业务总量指标，人均情况指标，付费情况指标，和产品情况指标。

第一，业务总量指标主要包括成交总、成交数量，访问时长。

第二，人均指标用来衡量人均情况的指标，包括人均付费也称客单价，付费用户人均付费，人均访问时长。

人均付费(客单价)=销售总额/顾客总数

付费用户人均付费=销售总额/付费顾客人数

人均问时长=总时长/ 顾客总数。

第三，付费指标主要是付费率和复购率。通过这两个指标可以衡量产品的付费情况，找出当前的业务问题。如果再加上时间维度，又可分为日付费率，月付费率。付费率能够反映产品的变现能力和用户质量。

付费率=付费用户数量/ 全部用户数量。

第四，产品指标是指从产品的角度去衡量哪些产品好，哪些产品不好。通过找出好的产品来进行重点推销，不好的产品去分析原因。常见的产品指标包括产品热销度，产品好评度，产品差评度。产品热销度，知名的产品并不一定热销，而拥有热销度的知名品牌是更高段位上的品牌，品牌的热销度是品牌生产力的反应，是营销网络是否健全科学的评价指标。产品好评度主要是以电商平台的产品评价信息数据为研究"对象，产品好评度指数越高，口碑指数越高，口碑形象越好。一个产品的消费者好评将直接影响产品的口碑，好评度越高，口碑越好，产品差评度指标反映了消费者对这个品牌产品的消费体验不好感程度。

三、业务指标选择

数据分析人员在选择数据指标时需要明确指标的目标定位。企业业务指标的定位分为下面三个层次，分别为:战略层指标，业务层指标，和业务执行层指标。

战略层指标用于衡量企业整体目标达标情况，与业务紧密结合，对全公司所有员工都具有核心的指导意义，是不可拆分的基础指标。

业务层指标将战略层指标横向分类，可以按照业务部门划分，也可以按照地域划分。业务执行层指标是将业务层指标纵向展开，进行路径拆解，用于定位二级指标的问题。

战略层指标呈现整体情况，需要通过业务层，业务执行层指标进行修饰和派生，最终指导业务层，和业务执行层指标的改进。

在明确了业务指标的层次之后，我们需要确定数据指标服务于什么。企业的业务层面指标，是对战略层指标的分解，通过查看业务层面指标，管理者可以快速定位导致战略层指标出现变化的原因。具体到业务执行层指标，是对业务层面的具体分解，业务执行指标通常是业务过程中非常详细的指标。数据分析人员在设计业务指标或构建业务指标体系时，需要注意事项有哪些？

首先，要避免自己一个人就完成了所有业务指标需要与业务部门进行沟通。建立业务指标体系不是数据分析师个人就能够完成的，需要企业的业务部门的配合。

其次，数据分析人员建立业务指标体系需要注意如果不能确定企业的战略层级指标，抓不住构建重点。数据分析师一定需要知道战略层指标是什么。如果不能围绕战略层指标来做设计，可能最终结果会问题。

第三，在设计业务指标时，要关注指标之间的逻辑关系，没有逻辑关系的两个指标是没有意义的。如果不按照业务流程来建立指标体系，虽然指标很多，但是指标之间没有逻辑关系。以至于出现问题的时候，找不到对应的业务节点是哪个，最终无法解决问题。最后，一个数据分析人员要尽量避免没有业务意义的指标。如果一个数据分析师设计的指标看上去很丰富，但是却没有实际的业务意义，最终导致这些指标是一些没有用的数字。

四、业务指标体系

业务指标体系能够帮助一个企业从不同维度对其业务进行梳理，把业务有系统地组织起来。所以， 一个业务指标不能叫业务指标体系，几个毫无关系的业务指标也不能叫业务指标体系。同样，对于一家公司的业务是否在正常运行，可以通过业务指标体系对业务进行监控。当业务出现异常时，就能以最快的速度发现问题，开始分析，然后解决这些问题，最大化地减少损失。

如何构建一个企业的业务指标体系是数据分析人员的一项基本技能。在构建体系时需要考虑业务指标体系的构成，业务指标体系的作用，及如何在企业中建立业务指标体系和在建立业务指标体系中需要注意的事项。指标体系是从不同角度来描述某项业务，围绕业务把几个指标有系统地组织起来。如果一个业务指标能够完全描述业务，也可称为体系，但把几个毫无关系的指标放在一起，则不能叫指标体系。

利用业务指标体系，管理者可以大致判断所在企业的业务是否正常，也就是通过业务指标体系对业务进行监控。当业务出现异常时，能够及时发现问题，分析问题，然后解决这些问题，达到减少损失的目标。

为了建立一个企业的业务指标体系，数据分析人员应协助相关管理人员和其他部门的业务人员，根据下述步骤建立业务指标体系。首先，确定战略层指标，战略层指标可能是多个指标，有些业务需要多个指标来综合评价。第二，根据业务运营情况，找到业务层指标。可以进一步将战略层指标拆解为业务层指标。拆解的方式，要根据具体业务是如何运营的。第三，根据业务层指标，找到业务执行指标。第四，汇总及更新业务指标体系。根据前面步骤找到战略层指标，业务层指标，和业务执行指标，到这一步可以把这些指标进行汇总，通过指标体系对业务进行监控，另一方面通过增加新的指标不断更新指标体系。

五、业务报表

业务报表是指对业务内容和数据的统计分析图表。一般是企业内部的自制报表。统计图表则代表了一张图像化的数据，形象地呈现了数据。我们常常提到的可视化分析图表一般包括比较类图表，占比类图表，相关类图表，和趋势类图表这几个类别。

业务报表就是通过可视化分析图表撰写数据分析报告，这是对整个业务指标的一个总结与呈现。通过报告，把业务指标的数据结果及建议完整地呈现出来，供业务分析人员参考。一份好的数据分析报告需要满足以下3点要求:好的分析框架，明确的结论，提出具有可行性的建议或解决方案。

利用统计方法，数据分析人员可以通过相应统计模型开展数据分析。数据分析过程包括数据收集，数据处理，数据探索，模型方法应用，分析结果数据展现及形成分析报告。

业务报表是指对业务内容和数据的统计分析图表。统计图表代表了一张图像化的数据，形象地呈现数据。我们常常提到的可视化分析图表一般包括比较类图表，占比类图表，相关类图表和趋势类图表。在完成企业的业务指标体系构建之后，我们将讨论如何收集相关数据，并用数据形成指标。数据分析人员应当理解一个数据分析过程包括，业务指标构建，数据收集，数据处理，数据探索，模型方法应用，分析结果数据展现，及形成分

一、数据收集

作为企业的数据分析人员，应当熟知关于业务指标数据收集的过程，即数据

的来源，数据收集的基本原则和数据收集方法。为了收集企业所需要的各类业务数据，数据分析师主要光注以下信息来源: 企业内部数据源，市场调查数据源，公共数据源和第三方数据源。

公司内部数据主要是指公司运营过程中产生的数据。可以是公司业务线运营产生的业务数据，也可以是公司经营类数据。

市场调查是指用科学的方法，有目的、系统地搜集、记录、整理和分析市场情况，了解市场的现状及其发展趋势，为企业的决策者制定政策，进行市场预测，做出经营决策，制定计划提供客观、正确的依据。

公共数据主要是指政府在行政执法过程中产生的信息，例如行政许可，法院诉讼等活动所带来的信息。公共数据一般由数据服务机构通过数据服务平台向大众开放。

第三方数据是指一个企业与其他企业合作获得的数据。例如，企业以自身的技术交换其他企业的数据，或者自己与对方企业各有不同细分市场数据，双方合作能形成战略上的互补。

二、公司内部数据

公司内部信息收集可以是各类业务数据，例如实体数据，交易数据和行为数据。也可以是经营类数据。数据收集的来源可以是来自于业务部门每日、每周或每月的各类数据表，企业信息系统自动生成数据存放于表格文件或数据库中。如果数据分析人员需要获取企业内部数据，下表列出可能的数据内容。

(1)客户资料数据

由于客户资料数据是市场细分的基础，许多分析模型都是建立在客户资料数据的基础上。所以在收集客户资料数据时，数据表要能够反映客户的基本特征，一般包括下述内容:性别，年龄，收入，性格，职业，工作单位，籍贯，体型特征，居住地。

(2)销售明细数据

销售数据分析的目标是为实现业绩的增长做支撑。通过销售数据分析，管理者规避可能存在的风险、探索潜在新业务。销售明细数据一般包括:什么时候卖的，卖给谁，谁买的，卖的什么东西，什么价格卖的，卖的途径，跟什么一起卖。

(3)营销活动数据

营销活动数据能够帮助企业更好服务顾客，给顾客创造更多价值，对企业起赋能作用。营销活动数据包括活动的投入，产出，各种渠道的客户的反馈意见，还包括营销活动的目标、主题、手段，活动的进展和成本，营销活动对应销售业绩的影响。

三、市场调查数据

根据企业业务需求，数据分析人员应当熟知通过市场调查方法来收集相关业务数据。市场调查的主要方法包括观察法，提问法，入户访问，拦截访问，投影技法，邮寄调查表法法。重点介绍:

1观察法

观察法的特点是需要了解问题在正常情况下自然状态的表现。观察法又分为直接观察法与实际痕迹测量法两种。直接观察法是指调查者有目的，有计划地对调查对象的行为，言语，情感进行观察记录。这种方法取得的往往是第一手数据，比如，观察超市货架能够得出很热销产品都在超市货架的中层。它最大的特点是所得信息真实生动，但也会因为调查者的主观意见而使观察结果过于片面。实际痕迹测量法是指对某个具体的事件留下的痕迹进行观察，该方法一般用于对客户流量，广告效果的调查。例如，网站的点击量，客户停留时间和登录页面时间等，这些数据都能显示出客户流量情况。

2提问法

提问法是指以问题形式将需要调查的事项通过面访，问卷，电话等方式，向被调查者提出，以获取所需要的信息的方法，这是市场调查中最常见的一种方法。提问法分为面对面调查，电话调查，书信调查，问卷调查，电子邮件调查。

这些方法的优缺点各有不同。面对面调查能直接获取被调查者的意见，富有灵活性，但这种方式耗费的成本较多，并且调查结果容易受到调查者能力强弱的影响；邮寄调查成本较低，但回收率极低，速度慢。电话调查和电子邮件调查具有速度快，成本最低，但只限于部分有电话或有电邮的用户，调查结果不具有普遍性；调查问卷几乎没有其他三种方法的缺点，不仅速度快，而且成本低，也不受调查者能力强弱影响，但这种方法得来的结果也容易受到调查者主观意见的影响。

3实验法

实验法通常用来分析某种因素对市场产品销售量的影响，一般先通过小规模调查实验，分析实验结果后再确定是否值得推广。它的应用范围较广，某件产品的品质，包装，价格，广告，陈列方法等进行改变时都可以采取这种方法，来调查客户的反应。

网络问卷调查是在互联网上发展起来的新型调查形式，主要应用于网上调查，其优点是快捷，高效，针对性强，能够节约数据调查人员的大量走访时间，避免调查人员在调查过程中因语言，语气给受访者带来误导。同时，网络问卷调查还可以降低调查成本。

四、公共数据

公共数据主要有宏观经济数据和行业数据，而这些数据的收集方法是一项很重要的基础工作。首先，我们需要确定这些数据的来源，然后在通过各种技术手段，包括数据提取技术，爬虫技术，语音技术来收集相关数据。下面我们分别列出部分宏观经济数据的信息源，和行业数据的信息源。数据分析人员应当根据所在企业的具体情况找到更多的信息源。

宏观分析信息来源包括:

1从电视，广播，报纸，杂志等了解世界经济动态与国内经济大事。

2政府部门与经济管理部门，省。市，自治区公布的各种经济政策，计划，统计资料和经济报告，各种统计年鉴，例如:《中国统计年鉴》《中国经济年鉴》《经济白皮书》《中国经济报告》。

3各主管公司，行业管理部门搜集和编制的统计资料。

4部门与企业可供查阅的原始资料。

5各预测、情报和咨询机构公布的数据资料。

6国家领导人和有关部门、省市领导报告或讲话中的统计数字和信息等。

行业数据的信息来源包括:

1统计年鉴。

2其他政府部门公开发布的统计数据。

3国际组织编制的综合或专门统计年鉴。

4专门行业协会编制的本行业相关信息。

5专门咨询机构发布的专门咨询报告。

6工商行政管理部门的企业报表。

7报纸，杂志，学术论文，学术著作归纳或转载的行业相关信息。

8国家专利部门公布的行业相关专利信息。

9国家制定并公布的行业，产业政策。

10中国海关，国家发改革公布的倾销，反倾销调查信息即相关政策。

11行业内专家或资深从业人士对行业内某话题的归纳，观点或分析结论。12上市企业的1P0招股说明书等公开披露资料中归纳总结的行业相关信息。

13政府内参及其他信息来源。

五、第三方数据

第三方数据是从外部数据源购买的数据，许多不同的数据提供商都销售这类数据，而且可以通过许多不同的途径访问这些数据。选择第三方数据段的原因通常是对公共数据的补充，从第三方数据源获取数据的方法一般通过第三方数据运营商提供的数据交换接口。数据分析人员在购买第三方数据时，有许多因素需要注意。需要了解数据提供者如何收集信息，何时从何处获得信息。我们还想知道他们提供的数据字段类型。由于第三方数据的数量和范围，我们可以使用它来扩展我们自己的数据集，当我们将第三方数据与企业内部数据相结合时，来自第三方的数据有可能非常强大。

数据预处理的方法主要包括去除唯一属性，处理缺失值，属性编码，数据标准化正则化、特征选择、主成分分析等，下面我们将会简要地总结数据预处理的基本方法。

数据预处理是对收集到的业务数据进行加工、整理、检验、归类编码和数字编码的过程，形成业务指标及适合数据分析的样式，它是数据分析前必不可少的阶段。数据处理的基本目的是从大量的、杂乱无章的数据中抽取并推导出对解决问题有价值，有意义的数据。

二、数据清洗

数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性，常用的数据清洗方法主要有以下4种，

1丢弃部分数据

丢弃数据就是直接删除有缺失值或无效值的行对应的整条记录或列对应的字段，以减少趋势数据记录对整体数据的影响，从而提高数据的准确性。但这种方法并不适用于任何场景，因为丢失意味着数据特征会减少，以下两个场景不应该使用丢弃的方法，数据集中存在大量数据记录不完整和数据记录缺失值明显的数分布规则或特征。

2补全缺失的数据

与丢弃相比，补充是一种更常用的缺失值处理方法，通过某种方法补充缺失的数据，形成完整的数据记录对后续的数据处理。分析和建模非常重要。估算方法是一种常用的补全缺失数据的，它就是用某个变量的样本均值，中位数，或者众数代替无效值和缺失值，这种办法简单，但没有充分考虑数据中已有的信息，误差可能比较大。另一种办法通过变量之间的相关分析或逻辑推论进行估计，

3不处理数据

不处理是指在数据预处理阶段，不处理缺失值的数据记录。这主要取决于后期的数据分析和建模应用。许多模型对缺失值有容忍度或灵活的处理方法，因此在预处理阶段不能进行处理。

4真值转换法

承认缺失值的存在，并将数据缺失作为数据分布规律的一部分，将变量的实际值和缺失作为输入维度参与后续数据处理和模型计算。然而，变量的实际值可以作为变量值参与模型计算，而缺失值通常不能参与计算，因此需要转换缺失值的真实值。

上述清洗方法之外，我们还需考虑一致性检查，根据每个特征的合理取值范围和相互关系，检查数据是否规范，是否超出正常范围，逻辑上不符或相互盾的数据。

三、数据加工

在数据清洗之后，为了方便数据的使用需要对数据进行进一步处理，这就是数据加工的概念。数据加工包括数据转化，数据抽取，数据合并，数据分组，和数据计算这些高级操作处理方法。

1数据变量

变量就是我们常说的字段，在Excel数据表中对应列，在统计学中，称为变量。常用的数据类型有字符型数据，数值型数据，日期型数据。

字符型数据，也称为文本数据，由字符串组成，它是不能进行算术运算的文字数据类型，它包括中文字符，英文字符，数字字符。字符型数据可以用于数据分类

数值型数据是直接使用自然数或度量单位进行计量的数值数据。

日期型数据用于表示日期或时间数据，它可以进行算术运算，所以它是特殊的数值型数据。

2数据抽取

数据抽取是指抽取原数据表中部分字段或记录的部分信息，形成一个具有新字段和新记录的新数据表。主要方法有字段拆分和随机抽样。随机样方法主要有简单随机抽样，分层抽样，系统抽样等。

3数据合并

数据合并是指综合数据表中部分字段的信息或不同的记录数据，组合成一个新字段或新记录数据。主要有两种操作方法，字段合并和记录合并。

字段合并，是将某几个字段合并为一个新字段。

记录合并，也称为纵向合并，是将具有共同的数据字段，结构，不同的数据表记录信息，合并到一个新的数据表中。

4数据分组

数据分组是根据数据分析的目的将数值型数据进行等距或非等距分组，这个过程也称为数据离散化，其用途通常是用于查看分布，如消费分布，收入分布，年龄分布等。其中，用于绘制分布图X轴的分组变量，是不能改变其顺序的，一般按分组区间从小到大进行排列，这样才能观察数据的分布规律。

5数据计算

简单计算就是指通过对已有字段进行字段通过加减乘除等简单算术运算计算得出新的字段。还有的是函数计算，比如，日期计算，数据标准化，加权求和，平均值和总和。

• 频率直方图（区间、频数、频率，X,Y轴柱状图）
• 饼图

1. 只有一个要绘制的数据系列
2. 要绘制的没有负数
3. 各个部分要标注百分比

• 条形图（最常用之一）
• 折线图（两个变量之间的关系）
• 散点图（因变量随自变量而变化的大致趋势）

1. 如果存在关联趋势，是线型还是曲线
2. 如果有某一个点或几个点偏离大多数点，就是离群值，进一步分析离群值是否在建模分析中对总体有很大影响。