谁说菜鸟不会数据分析

第1章 数据分析那些事

1.1 什么是数据分析

1.1.1 什么是数据分析

简单点说：就是对数据进行分析；

专业说法：用适当的统计分析方法，对收集来的大量数据进行分析，将他们加以汇总和理解并消化，以求最大化的开发数据的功能，发挥数据的作用。

数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概况总结的过程。

其目的是为了把隐藏在一批看似杂乱无章的数据背后的信息集中提炼出来，总结出研究对象的内在规律。能够帮助管理者进行判断和决策，以便采取适当的策略和行动。

1. 描述性数据分析属于初级数据分析：
   常见的分析方法有对比分析法、平均分析法、交叉分析法等；
2. 探索性和验证性数据分析属于高级数据分析：
   如相关分析、因子分析、回归分析等；

1.1.2 数据分析的作用

数据分析在企业日常经营分析中主要有三大作用：

• 现状分析
• 原因分析
• 预测分析

1.现状分析：

告诉你过去发生了什么。

第一，该诉你企业现阶段的整体运营情况，通过各个指标的完成情况来衡量企业的运营状态（好了还是坏了，以及好坏的程度）；

第二，告诉企业的各项业务的构成，了解企业各项业务的发展及变动情况，对企业运营有更深的了解；

现状分析一般通过日常通报来完成，如日报、周报、月报等形式

2.原因分析

告诉你某一现状为什么发生。

现状分析—我们对企业运营情况有了基本了解，但具体的运营情况具体好在哪里、差在哪里，是什么原因引起的不知道。分析指标变动原因，对运营策略作出调整与优化。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

告诉你将来会发生什么。

了解企业运营现状后，有时还需要对企业未来发展趋势做出预测，为制定企业运营目标及策略提供有效的参考与决策依据，以保证企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展频率较低。

1.2 数据分析六部曲

1.2.1 明确分析目的和思路

1.明确分析目的

开展数据分析之前，要问问：

为什么要开展数据分析？通过这次数据分析我要解决什么问题？预计会得到什么结果/结论？结果将会产生什么样的影响？下一步估计会采取什么行动？

考虑的不是“需要多少张图表”，而是思考这张图表是否有效表达了观点？如果没有，需要怎么调整？如果目的不明确，多少张图表也没有作用。

只有明确数据分析的目标，数据分析才不会偏离方向。

接着是如何去分析，即分析的思路——逻辑。

2.确定分析思路

当分析目的明确之后，要梳理分析思路，并搭建分析框架，把分析目标分解成若干个不同的分析要点：

即：如何具体的开展数据分析，需要从哪几个角度进行分析，采取哪些分析指标？

只有明确了分析目标，分析框架才能跟着确定下来，最后还要确保分析框架的体系化，使分析结果具有说服力。

1. 体系化就是逻辑化，就是先分析什么，后分析什么，使得各个分析点之间具有逻辑联系。

实习时有遇到的最常见的重要问题就是：遇到一个分析问题，不知道从哪方面入手，分析的内容和维度不够合理、完整，

体系化就是为了让你的分析框架具有说服力。

2. 如何使分析框架体系化？

以营销、管理等理论为指导，结合实际业务情况搭建分析框架，以确保数据分析维度的完整性，分析结果的有效性及正确性。

• 营销:4P、用户行为分析、STP理论、SWOT
• 管理：PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则

分析框架使数据分析变得有血有肉有脉络，真正做到理论指导实践。

1.2.2 数据收集

数据收集是按照确定的数据分析框架，收集相关数据的过程。

数据包括：

• 一手数据：可直接获取的数据；
• 二手数据：经加工整理后获得的数据；

来源：

• 数据库、数据仓库；
• 公开出版物：统计年鉴、发展报告等；
• 互联网：网络公开数据；
• 市场调查—收集用户的想法和需求数据；

1.2.3 数据处理

数据处理：将收集到的数据进行加工整理，形成适合数据分析的样式。即，有效数据。

数据处理主要包括：

• 数据清洗：如异常值、重复值等的处理，缺失值的处理
• 数据转化：如将男女，转化为01
• 数据提取：特征的选择、数据的合并（几项数据的汇总成一项特定的数据项）
• 数据计算

1.2.4 数据分析

数据分析是指，用适当的分析方法及工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程。

1.数据分析与数据处理的区别

数据处理是数据分析的基础，数据处理保证了数据的一致性与有效性，确保数据分析结果的正确性。

2.数据分析与数据挖掘的关系

在这个部分需要了解基本的数据分析方法、数据挖掘算法，了解不同方法适用的场景和适合的问题。

1）常用的数据分析工具，掌握Excel的数据透视表，就能解决大多数的问题。需要的话，可以再有针对性的学习SPSS、R等工具。

2）数据挖掘是一种高级的数据分析方法，侧重解决四类数据分析问题：分类、聚类、关联和预测，重点在寻找模式与规律。

1.2.5 数据展现

大多数情况下，人们更愿意接收图表形式的数据展现方式。

常用的数据图表包括饼图、柱形图、条形图、折线图、气泡图、散点图、雷达图等。进一步加工整理变成我们需要的图形，如金字塔图、矩阵图、漏斗图、帕雷托图等。

一般能用图说明问题的就不用表格，能用表说明问题的就不用文字。

图表制作的五个步骤：
1、确定要表达主题
2、确定哪种图表最适合
3、选择数据制作图表
4、检查是否真实反映数据
5、检查是否表达观点

1.2.6 报告撰写

数据分析报告其实是对整个数据分析过程的一个总结与呈现。通过报告，把数据分析的起因、过程、结果及建议完整地呈现出来，供决策者参考。

数据分析报告是通过对数据全方位的科学分析来评估企业的运营质量，为决策者提供科学、严谨的决策依据，以降低企业运营风险，提高企业核心竞争力。

一份好的数据分析报告：

首先，需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然：

• 1）结构清晰、主次分明，可以使阅读者正确理解报告内容；
• 2）图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。

另外，数据分析报告需要有明确的结论：

• 没有明确结论的分析称不上分析，因为最初就是为了寻找或者求证一个结论才进行分析的；

最后，好的分析报告一定要有建议或者解决方案：

• 决策者，需要的不仅仅是要找出问题，更重要的是建议或者解决方案，以便在做决策时进行参考——自己要有owner意识
• 这就要求，数据分析师在管理与业务方面的知识

数据分析报告不仅是分析结果的直接呈现，还是对相关情况的一个全面的认识。我们经常看到一些行业分析报告从不同角度、深入浅析地剖析各种关系。

所以，你需要一个讲故事的逻辑：

• 如何从一个宏观的问题，深入、细化到问题内部的方方面面，得出令人信服的结果，这需要从实践中不断训练。

讲故事：要把一个故事讲完整，这样才能说服别人

事例：

• 封面——××分析报告（部门+日期）
• 目录：
• 分析背景与目的
• 分析思路
• 分析正文（多项分析图表与相应结论）
• 总结与建议（结论以及相应建议）

1.3 数据分析三大误区

1.分析目的不明确，为分析而分析：

• 数据分析应该围绕你的分析目的——了解现状、找出业务变动原因、预测发展等。

2.缺乏业务知识，分析结果偏离实际

• 不仅仅懂数据分析的技能，而且还要懂业务、懂管理、懂营销、懂策略。
• 数据分析的最终结果是为了支持决策的制定，而不是分析方法本身。
• 此外，业务的了解程度越深，分析问题时的见地越深，数据分析的整体逻辑与思路越会清晰，更能得出正确客观的结论。

3.一味追求使用高级分析方法，热衷研究模型

能简单有效的解决问题的方法才是好方法。

围绕业务、发现问题、解决问题，才是数据分析的最终目的。

1.4 数据分析师的职业发展

各企业经过长期应用积累了大量丰富的数据，诸多行业随着信息技术的蓬勃发展数据也将会迎来井喷。但大部分企业，对信息的利用率极低。庞大的历史数据是否有价值？有何价值？如何综合利用这些数据的价值？是否能够为企业运营与决策提供参考依据？

无论是政府决策还是企业运营，科学研究还是媒体宣传，都需要数据支持。将数据转化为知识、结论和规律，就是数据分析的作用和价值。

面对庞大的数据，数据分析师不仅仅是单纯地做分析，更重要的是与相关业务部门进行合作，将数据真正应用到业务中，根据实际的业务发展识别哪些数据有用，而不是孤立地在“真空环境”下进行分析。——《数据化运营》

“数据供应链”：

数据分析师的职业要求——五懂：

1）懂业务

• 即熟悉行业知识、公司业务及流程，最好有自己独到见解；
• 同时懂业务也是数据敏感的体现，其明白数据具体代表什么意义。

2）懂管理

• 一方面是搭建数据分析框架的要求，例如明确分析思路这一步，就需要用到营销、管理等理论来指导数据分析框架的搭建；
• 另一方面，针对数据分析结论提出有指导意义的分析建议，如果没有管理理论的支撑，就难以确保分析建议的有效性。

3）懂分析

• 指掌握数据分析的基本原理与一些有效的数据分析方法；
• 并能灵活运用到实践工作中；
• 基本的分析方法包括：
  • 对比分析法
  • 分组分析法
  • 交叉分析法
  • 结构分析法
  • 漏斗图分析法
  • 综合评价分析法
  • 因素分析法
  • 矩阵关联分析法
  • ……
• 高级的分析方法包括：
  • 相关分析法
  • 回归分析法
  • 聚类分析法
  • 判别分析法
  • 主成分分析法
  • 因子分析法
  • 对应分析法
  • 时间序列
  • ……

4）懂工具

掌握数据分析相关的常用工具。

5）懂设计

运用图表有效表达数据分析师的分析观点，使分析结果一目了然。如，

• 图形的选择；
• 版式的设计；
• 颜色的搭配；

颜值即正义。

数据分析师五大基本能力和素质：

1）态度严谨负责

只有态度严谨负责，才能保证数据的客观、准确。——你得为你分析的每一个环节负责，了解每一个环节数据以及分析的来龙去脉——多问自己为什么，不能只知其一不知其二

2）好奇心强烈

• 要积极主动地发现和挖掘隐藏在数据内部的真相；
• 数据分析师脑子里，应该充满着无数个“为什么”：
  • 为什么是这样的结果？
  • 为什么不是那样的结果？
  • 导致这个结果的原因是什么？
  • 为什么不是预期那样？
  • ……永无止境
• 只有拥有这样一种刨根问底的精神，才会对数据和结论保持敏感，继而顺藤摸瓜，找出数据背后的真相。也会从中获取成就感。

3）逻辑思维清晰

具备缜密的思维和清晰的逻辑推理能力：

• 结构为王：何为结构，即逻辑。不论说话还是写文章都要有条理、有目的地做，要分清主次；
• 面对复杂的商业问题、思考错综复杂的成因，能够理清问题的整体以及局部的结构、理清结构中相互的逻辑关系，这样才能真正客观地、科学地找到商业问题的答案；

4）擅长模仿学习

模仿学习是快速提高学习成果的有效方法。

• 参考、借鉴他人优秀的分析思路和方法，领会他人方法的精髓，理解其分析原理，透过表面达到实质。
• 多向牛人前辈学习，多交流、多询问（先要有自己的思考，深刻思考的基础上再向他人提出自己的疑问）；
• 如果是牛人面对同一件事，他会怎么思考，又会怎么做，为什么。

5）勇于创新

• 每次模仿之后都要进行总结，提出可以改进的地方，甚至要有所创新；
• 不断总结分析方法、分析思路、分析流程，在总结中前行；
• 每天要有自己的积累、总结、反思——日报；
• 定期回顾自己的工作——每周总结，项目复盘、反思、总结
• 工作永远做不完，要时不时跳出忙碌的工作洪流，总结、思考、学习；

1.5 几个常用指标和术语

• 平均数
• 绝对数与相对数
• 百分比与百分点

今年利润占比45%，比去年提升17个百分点，（不是提升17%）；

• 频数与频率
• 比例与比率
• 倍数与番数
• 同比与环比
  • 同比：历史同时期
  • 环比：与前一个统计期比较

总结

数据分析心法：

1. 学习：先了解，后深入；先记录，后记忆；先理论，后实践；先模仿，后创新；

2. 方法：先思路，后方法；先框架，后细化；先方法，后工具；先思考，后动手；

3. 分析：先业务，后数据；先假设，后验证；先总体，后局部；先总结，后建议；

第2章 结构为王——确定分析思路

2.1 数据分析方法论

确定分析思路要以营销、管理等理论为指导——这些相关理论称为数据分析的方法论。

如，作专题分析时，要明确分析思路，即要有正确合理的分析方法论，以确保分析结果具有指导意义——指南针。

2.1.1 数据分析方法论与数据分析法的区别

数据分析方法论：主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，，比如主要从哪几方面开展数据分析？各方面包含什么内容和指标？

1）数据分析方法论，主要从宏观角度指导如何进行数据分析，像是一个数据分析的前期规划，指导着后期数据分析工作的开展；

2）数据分析方法，是指具体的分析方法。其主要从微观角度指导如何进行数据分析。

2.1.2 数据分析方法论的重要性

数据分析时时常遇到的问题：不知从哪方面入手开展分析；分析的内容和指标常常被质疑是否合理、完整。

数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，而只有在营销、管理等方法和理论的指导下，结合实际业务情况，才能确保数据分析维度的完整性，分析结果的有效性及正确性。

数据分析方法论主要有以下几个作用：

• 理顺分析思路，确保数据分析结构体系化；——逻辑化
• 把问题分解成相关联的部分，并显示它们之间的关系；
• 为后续数据分析的开展指引方向；
• 确保分析结果有效性及正确性；

如果没有宏观指导，会导致报告主线不明，各部分分析逻辑不清。

2.2 常用的数据分析方法论**未完待续

2.2.1 PEST分析

PEST分析方法用于对宏观环境的分析，即行业或是企业的各种宏观力量。

1）政治环境 Political

构成政治环境的关键指标有：

• 政治体制，经济体制；
• 财政政策，税收政策，产业政策，投资政策；
• 专利数量，国防开支水平，政府补贴水平，民众对政治的参与；

2.）经济环境 Economic

主要包括微观和宏观两个部分。

宏观经济环境主要指：

• 国民收入出及变化；
• 国民生产总值及变化；
• 以及这些指标反映的国民经济发展水平和发展速度；

微观经济环境主要指：

• 企业所在地区或所服务地区的消费者的收入水平、消费偏好、储蓄情况、就业程度等因素；
• 这些因素直接决定企业目前及未来市场的大小；

构成经济环境的关键指标：

• GDP及增长率；
• 进出口总额及增长率；
• 利率、汇率、通货膨胀率；
• 消费价格指数、居民可支配收入；
• 失业率、劳动生产率；

3）技术环境 Technological

构成技术环境的关键指标：

• 新技术的发明与进展；
• 折旧和报废速度；
• 技术更新速度、技术传播速度、技术商品化速度；
• 国家投入研发费用与支持重点；
• 该领域技术发展动态和研发费用总额；
• 专利个数、专利保护情况；

4.）社会环境 Social

构成社会文化环境的关键指标：

• 人口规模，性别比例，年龄结构；
• 出生率，死亡率；
• 种族结构；
• 妇女生育率，生活方式，购买习惯，教育状况，城市特点，宗教信仰状况等；

文化水平会影响居民的需求层次，……

2.2.2 5W2H分析法

讲话时老是抓不住重点，费口舌讲半天，还是听不懂他在说什么——缺乏逻辑训练

5W2H分析方法：

• 何因 Why
• 何事 What
• 何人 Who
• 何时 When
• 何地 Where
• 如何做 How
• 何价 How much

2.2.3 逻辑树分析法（鱼骨图）

逻辑树又称问题数、演绎树、分解树；将问题的所有子问题分层罗列，从最高层开始，并逐步向下扩展。

具体方法：

• 把一个问题当成树干，然后开始考虑这个问题和哪些问题有关。
• 每想到一点，就给这个问题所在树干加一个“树枝”，并明确这个树枝代表什么问题。
• 二层树枝上还可以有小的树枝，依次类推，找出与问题相关联的所有项目。

其作用主要是：

• 帮助理清自己的思路，避免进行重复和无关的思考；
• 保证解决问题的过程的完整性；
• 能将工作细分为便于操作的任务，确定各部分优先顺序，明确地把责任落实到个人；

逻辑树使用必须遵守的三个原则：

• 要素化：把相同的问题总结归纳成要素；
• 框架化：将各个要素组织成框架，遵守不重不漏原则；
• 关联化：框架内各要素保持必要的相互关系，简单而不孤立。

2.2.4 4P营销理论

是随着营销组着理论的提出而出现的。营销组合实际上有几十个要素，这些要素可以概括为4类（具体介绍待续）：

• 产品（Product）
• 价格（Price）
• 渠道（Place）
• 促销（Promotion）

如果需要全面了解公司的整体运营情况，搭建公司业务分析框架，就可以采用4P营销理论对数据分析进行指导。

搭建好业务分析框架，确定要分析的问题，然后可以将其细化为数据分析指标。

2.2.5 用户行为理论

网站分析的发展已经成熟，分析指标体系已经比较成熟：

• IP
• PV
• 页面停留时间
• 跳出率
• 回访者
• 新访问者
• 回访次数
• 回访相隔天数
• 流失率
• 关键字搜索
• 转化率……

问题：当遇到这么多指标，都要采用么？那什么采用，什么不采用？各指标之间的联系？哪个指标先分析，哪个后分析？

所以，我们需要梳理他们之间的逻辑关系——如使用用户行为理论。

什么是用户使用行为：是指用户为获取、使用物品或服务所采取的各种行动；用户对产品首先需要有一个认知、熟悉的过程；然后是试用；再决定是否继续消费使用；最后成为忠诚用户。

案例图：用户使用行为理论在网站分析中的应用

2.3 总结

回顾：

• PEST分析理论主要用于行业分析；
• 4P分析理论主要用于公司整体经营情况分析；
• 逻辑树分析理论可用于业务问题专题分析；
• 用户行为理论，用途单一，用于用户行为研究分析；
• 5W2H分析，用途相对广泛，可用于用户行为分析、业务问题专题分析等；

方法论用于指导分析框架的搭建，但最后都还要落在具体的数据分析指标之上，即形成科学的指标体系。

方法论也可以嵌套使用，当然还有很多其他方法；

第3章 无米难为巧妇——数据准备

两部分知识：

• 1）数据的构造、种类和要求——理解数据；
• 2）数据从哪里来——数据来源；

3.1 理解数据

1.字段与记录

2.数据类型:

• 字符型数据
• 数值型数据
• 统计学上的数据类型分类？？？

3.数据表

数据表的要求：

• 一维表（关系表）

3.2 数据导入

1.文本数据导入

操作：Excel分列

2.自动导入网站数据

操作：web数据导入—>数据更新：

• 及时刷新：“数据”+“刷新数据”
• 定时刷新、自动刷新：数据区域单元格“右击”——数据范围属性——选择

3.问卷录入要求

数值题：录入实际数值即可

单选题：使用1、2、3、4代表ABCD

多选题：

• 二分法：0代表选择，1未选；表头为该题的多个选项；
• 多重分类法：1…7代表第几个选项，根据限选项数确定应该录入的变量个数；

排序题：1…7代表第几个选项，

开发性文字题：一般是一些文字表述观点或建议；

• 如果可能的话，可以按照含义相似的答案进行归类编码，转换为多选题进行分析；
• 如果答案内容比较丰富，不容易归类，可以直接进行定性分析；

第4章 三心二意——数据处理

4.1 何为数据处理

三心二意：

• 信心：hold住
• 细心：
  • 1%的错误=100%的失败；
  • 要对差异值敏感；
• 平常心：程序崩了，电脑死机了——除了平常心，还要记得定时保存；
• 诚意：严谨负责，保证数据的客观、准确；具有owner意识；
• 合意：
  • 满足需求方（领导、运营部门）的分析目的与需求；
  • 做分析前，先要了解清楚需求方想要什么；
  • 做的过程中，要不断反馈细节和进度，确保你做的与需求方想的在同一轨道上；

步骤：

• 数据清洗
• 数据加工

4.2 数据清洗

数据清洗目的是为数据加工提供简洁、完整、正确的数据，清洗工作包括：

• 1）重复数据的处理
• 2）缺失数据的处理
• 3）检查逻辑错误的数据

1.重复数据的处理（Excel）

1）函数法

• 重复次数：countif(整个数据区域，值)
• 第几次重复：countif(该值之后的数据区域，值)

2）高级筛选法

• 选择不重复的记录

3）条件格式法

4）数据透视表法

5）删除重复数据

• 数据+删除重复数据
• 结合函数法的第几次重复，通过排序删除重复项
• 通过筛选删除；

2.缺失数据的处理

如果缺失值过多，说明数据收集过程中存在着严重问题，处理标准一般是：10%以下；

数据缺失的原因：

• 机械原因：数据收集与保存失败造成
• 人为原因：主观条件下的数据缺失

1.当缺失值是以空白单元格出现（对应其他数据处理工具中）

1）定位输入：“定位”——“定为条件：Ctrl+G”——“空值”

2）缺失值处理方式：

• 使用样本统计量的值代替：如，平均值（典型做法）
• 使用统计模型计算值代替：如，回归模型，判别模型
• 直接把缺失该值的记录删除：删除条件？？？
• 将缺失值的记录保留，仅在相应分析中做必要排除。

3）具体操作：定位之后——快捷键：Ctrl+Enter（实现单元格同时输入）

2.当缺失值是以错误标识出现

1）查找替换：

• 查找：Ctrl+F
• 替换：Ctrl+H

3.检查数据逻辑错误

1.利用IF函数检查错误：

IF(条件表达式，为TRUE时的返回值，为FALSE时返回值)

2.利用条件格式标记错误：

• OR()：=OR(B3=0,B3=1) = FALSE
• AND()

4.3 数据加工

为何需要进行数据加工：数据表中现有数据字段不满足我们的数据分析需求，所以需要对现有字段进行抽取、计算或者转换，形成分析所需要的一列新数据字段。

4.3.1 数据抽取

数据抽取：指保留原数据表中某些字段的部分信息，组合成一个新字段。可以是：

1.字段分列：截取某一字段的部分信息

举例：将姓和名信息单独抽取出来

方法：

• 分列
• 函数法：
  • LEFT(要提取字符的文本字符串，得到字符串左部指定个数的字符)
  • RIGHT()

2.字段合并：将某几个字段合并为一个新的字段

• & 字符串连接符
• TEXT()：数值类型转换为字符串类型
• CONCATENATE()：字符串拼接

3.字段匹配：将原数据表中没有，但其他数据表中有的字段，匹配过来

VLOOKUP(匹配值，匹配区域，匹配列，选项):

• 匹配区域第一列必须是要查找的值，发会出现标识符“#N/A”；
• 其他出现错误标识符“#N/A”的情况：
  • 数据中存在空格：可以使用 TRIM() 函数将空格批量删除；
  • 数据类型或格式不一致：注意格式转换

4.3.2 数据计算

某些字段需要通过原表中的字段计算得来；

DATE()
YEAR()
MONTH()
DAY()
DATEIF()

4.3.3 数据分组

VLOOKUP(匹配值，匹配区域，匹配列，选项):

• 逻辑选项=1：模糊匹配——在匹配区域中匹配，接近它但又不大于它的值

4.3.4 数据转换

1.数据表的行列互换：转置、粘贴选项、运算

2.多选题录入数据方式之间的转换

• HLOOKUP(查找值，查找区间，返回第几行数，选项)：与VLOOKUP函数相反，这是按行查找，返回第几列
• ISNUMBER()函数：判断是否为数值
• SEARCH(“要查找的文本字符串”，查找的字符串，从第几个字符开始查找)：

IF(ISNUMBER(HLOOKUP()),1,0)

4.4 数据抽样

常见的调查方式：

• 普查
• 抽样调查：指从调查对象总体中随机抽取一部分样本进行调查分析，使用这些样本推论总体的一种调查方式；

Rand()函数：

• 返回[0,1]均匀分布随机数
• 如果返回[60,70]：= Rand()*10+60

方法：生成随机数——使用VLOOKUP函数匹配

第5章 数据分析

5.1 数据分析方法

明确方法论、方法、工具三者各自的作用。

数据分析不单单是会用数据分析工具，还必须懂数据分析原理，没有理论的指导，就无法知晓从哪方面入手，要分析哪些关键点。

首先是数据分析的三大作用：

• 现状分析；
• 原因分析；
• 预测分析；

其次是这三大作用是如何实现的呢，其分别对应三大基本方法：

• 对比
• 细分
• 预测

数据分析作用	基本方法	数据分析方法
现状分析	对比	对比分析、平均分析、综合评价…
原因分析	细分	分组分析、结构分析、交叉分析、杜邦分析、漏斗图分析、矩阵关联、聚类
预测分析	预测	回归分析、时间序列、决策树、神经网络

1.对比分析方法

数据分析中各项数据指标没有好坏之分，就好看选什么作为参照物。

1）对比分析法：解释数据之间的差距，可以直观地看出事物某方面的变化或差距；

2）分类：

• 横向比较：同一时间条件下，对不同总体指标的比较，如不同部门、地区的比较；
• 纵向比较：同一总体条件下，不同时期指标数值的比较；

3）实践运用：常用的对比分析有以下几个维度

• ①实际完成值与目标进行对比，属于横比；
• ②不同时期的指标数值作为对比标准，属于纵比；
  • 同比：同一时期
  • 环比：考虑到季节周期性变化的影响
• ③同级部门、单位比较
• ④行业内对比
• ⑤活动效果对比：活动前与活动后对比

4）注意事项：

• 指标的口径范围、计算方法、计量单位必须一致；
• 对比对象要有可比性；
• 对比的指标类型必须一致；

2.分组分析法

分组的目的：为了便于对比，把总体中具有不同性质的对象区分开，保持各组内对象属性的一致性、组与组之间属性的差异性，以便进一步运用其他数据分析方法来解构内在的数量关系。

步骤：

• 1）确定组数：目的之一是为了观察数据分布特征，所以组数应该适中；根据数据大小确定；
• 2）确定组距：$组距=(最大值-最小值)/组数$
• 3）对数据进行分组：VLOOKUP函数

3.结构分析方法

结构分析方法：指被分析总体内的各部分与总体之间进行对比的方法，部分对总体占比；如，市场占有率。

结构相对指标（比例） = （总体某部分数值 / 总体总量）× 100%

4.平均分析方法

平均分析方法：运用计算平均数的方法，来反映总体在一定时间、地点条件下某一数量特征的一般水平；

5.交叉分析法

多个维度的数据透视

6.综合评价分析法

评价步骤：
1）确定评价体系
2）收集数据，数据进行标准化处理
3）确定指标权重
4）根据标准化数据及权重，计算综合评价结果
5）根据评价结果，进行排序和分析

标准化方法：

• 0-1标准化：离差标准化
  $$\frac{x-min}{max-min}$$
• Z标准化

赋权方法：

• 专家访谈法
• 德尔菲法
• 层次分析法
• 主成分分析法
• 因子分析法
• 回归分析法

7.杜邦分析法

将若干个用以评价企业经营效率和财务状况的比率，按其内在联系有机的结合在一起，形成一个完整的指标体系，并最终通过权益收益率来综合反映。

不仅仅可以用在财务分析上，也可以用在企业市场、用户分析上。

8.漏斗图分析法

主要以漏斗图的形式展现分析过程及结果，适合业务流程比较规范、周期较长、各流程环节涉及复杂业务过程的管理分析工具。

可以结合对比分析方法使用。

9.矩阵关联分析法

以IPA分析：重要性-满意度分析为例

1）矩阵
重要性-满意度矩阵（四个象限）

2）发展矩阵
IPA+对比数据：时间变化下某指标的变化

3）改进难易举证
在IPA矩阵基础上，增加改进难度这个维度（使用图形大小表示）；用以决定先改进哪一个问题。

10.高级数据分析方法

研究方向	数据分析方法
产品研究	相关分析、对应分析、判别分析、结合分析、多维尺度分析…
品牌研究	相关分析、聚类分析、判别分析、因子分析、对应分析、多维尺度分析…
价格研究	相关分析、PSM价格分析…
市场细分	聚类分析、判别分析、因子分析、对应分析、多维尺度分析、逻辑回归、决策树…
满意度研究	相关分析、回归分析、主成分分析、因子分析、结构方程…
用户研究	相关分析、聚类分析、判别分析、因子分析、对应分析、逻辑回归、决策树、关联规则…
预测决策	回归分析、决策时、神经网络、时间序列、逻辑回归…

5.2 数据分析工具

数据透视表技巧：

• 百分比计算；
• 同比、环比计算；
• 数据分组统计；
  • 日期型
  • 数值型：等距分组（Vlookup可进行不等距分组）
  • 文本型：
• 多选题分析

第6章 数据展现

电梯法则：麦肯锡30秒电梯理论——让老板在三十秒内读懂你的数据

问题：

• 怎样让你的老板快速理解你的数据报告？
• 如何让你的图表展示达到你的目的？
• 常用的图表类型有哪些？
• 这些图表的特点，应用场景又是什么？

6.1 揭开图表的真面目

1.图表的作用：

• 表达形象化
• 突出重点
• 体现专业化

2.常用图表类型及作用

3.图表制作五步法

6.2 表格

突出显示单元格：

• 颜色突出
• 数据条
• 图标集
• 迷你图：嵌入到单元格内

6.3 图表换装

1.增加平均线图

2.双坐标图

3.树形折线图：蛇形图

• 展示产品功能、品牌形象等在消费者心中的评价；
• 分析与比较多个不同产品、项目在每个指标方面的表现；

4.瀑布图

• 企业成本构成、变化

5.帕累托图

• 二八法则的最佳实践；
• 按照发生频率的高低顺序绘制的直方图（无间距的柱形图）；

6.旋风图

• 前后关系：活动前后不同指标的变化；
• 相关关系：同一事物的某个指标的变动，另一指标受影响也随之变化；
• 对比关系：不同主题的各类指标的对比情况；

7.人口金字塔图

8.漏斗图

9.矩阵图（散点图）

10.发展矩阵图

11.改进难易矩阵

第7章 专业化图表

专业化评价标准：严谨、简约、美观。

7.1 图表的常见注意事项

1.“五脏俱全”

• 标题：介绍图表的主题及副标题；
• 图例：不同项目的标识；
• 标尺单位：数据单位说明；
• 脚注：对图表某一元素的说明；
• 资料来源：赋予数据可信度；

2.注意事项：

• 1）避免无意义的图表：决定做不做图表的唯一标准——能否帮助你有效地表达信息；
• 2）一张图里不要塞太多信息：最好一个图表阐释一个主题；
• 3）只选对的，不选复杂的：遵守简约风格；
• 4）一句话标题：
  • ①要切中图中大意（不需要看图，也能很快领悟图的要点）：公司销售情况—公司销售额翻一番
  • ②有吸引力：标题党

3.饼图：

• 1）把最重要的成分紧靠12点钟的位置：眼睛习惯从左至右，从上至下顺序观察事物，把重要的放到显眼位置；
• 2）数据项不要太多，保持5项以内；
• 3）不要使用饼图分离，不美观阅读也不方便（除非你要强调这一点）；
• 4）饼图不要使用图例：可将标签直接标在扇区内或旁边；
• 5）尽量不要使用标签连线，用则切忌凌乱；
• 6）尽量不要使用3D效果，用厚度尽量薄一些；
• 7）使用颜色填充时，推荐使用白色线框，具有较好的切割感；

4.复合饼图：

• 如果饼图成分超过5个，可以将分类数据中所占比例较小的分类合并为“其他”项；

5.柱形图：

• 1）同一数据序列使用相同颜色；
• 2）不要使用倾斜的标签；
• 3）纵坐标轴一般刻度从0开始；
• 4）有数据标签时，纵坐标轴和网格线可以删除；

6.条形图：

• 1）同一数据序列使用相同颜色；
• 2）不要使用倾斜的标签；
• 3）纵坐标轴一般刻度从0开始；
• 4）尽量添加数据标签，此时纵坐标轴和网格线可以删除；
• 5）尽量让数据由大到小排序，方便阅读；

7.折线图：

• 1）折线要相对粗一些，最好比网格线、坐标轴粗；
• 2）线条一般不要超过5条；
• 3）不要使用倾斜标签；
• 4）纵坐标轴一般刻度从0开始；
• 5）数据点最好进行标识，以及加上数据标签；

8.图表会说谎：

• 1）坐标轴未从0开始，造成虚假的变化趋势；
• 2）3D效果的伪装：横成岭侧成峰，远近高低各不同；
• 3）逆序排列的误导；
• 4）一维图像的障眼法：
  • 偷换概念：用剪切画代替原图，造成视觉上的错误；
  • 正确做法：剪切画也应该被标准量化，使用数量而不是大小进行比较；

7.2 图标美化

遵循原则

1.简约：简明扼要，清晰明了；
宜家的家具，总给人感觉色彩鲜明、简单大方且独居匠心；

2.整洁：整齐、干净、和谐自然；

3.对比：突出重要元素，帮助读者迅速抓住信息；

• 1）字体：大小、粗细；
• 2）颜色：明暗、深浅；
• 3）构图：分散、前后；

图表美化技巧

1.最大化数据墨水比：

• 即图表中每一滴墨水，都要有存在的理由；
• 尽量减少和弱化 非数据元素：网格线、坐标轴、填充色等跟原始数据无关的元素
• 增强和突出数据元素：曲线、条形、扇形等代表数据信息的元素；

2.找出隐形的线：让图表中每一个元素被无形的线条贯穿在一起一样；

• 描绘图表的每一个元素时，特别注意它的位置，找出能够与其对其的元素；

3.图表喜欢的数字格式：Arial字体

• 当图表中的数字很多时，会显得比较拥挤凌乱；
• 建议将图表中的数字、字母调整为Arial字体；

4.图表的突出对比：

• 1）醒目的颜色；
• 2）直线（如平均线），箭头；
• 3）阴影

5.颜色搭配：

1）主色与配色

2）色环：

• 1）三原色：红、黄、蓝；
• 2）二次色：红+黄=橙、红+蓝=紫、黄+蓝=绿；
• 3）色彩两两调和下去，形成色环；

3）相似色：由一种色调，及相应的多种亮色和暗色组成；

4）临近色：色环上相邻的颜色；

• 相邻色，色调统一和谐，能带给观众一种明显的情感特征；

5）对比色：色环上相对的颜色；常用的对比色是：

• 1）深色与浅色：黑与白
• 2）亮色与暗色：
• 3）冷色与暖色；

6）冷暖色：蓝与红

7）特殊颜色：

颜色	交通	企业经营分析
红	危险，禁止通行	显示指标存在重大问题
黄	警示，提醒即将有危险	显示指标存在潜在问题
绿	安全，准许通行	显示指标发育良好

色彩知识汇总

项目	说明
色系	同色系（红黄蓝绿等）；无色系（黑、白、灰）
色调	暖色调（红、黄）；冷色调（绿、蓝）
对比色	两种可以明显区别的色彩；可用于突出主题、内容或表现不同类别等
相似色	同一颜色明度上的深浅变化；可用于表现类似、过渡的事物
邻近色	用于表现类似、过渡的事务

其他技巧：

• 图表模板的保存；
• 添加标签的Excel加载项：JWalk Chart Tool；
• 修剪超大值；

第8章：专业的报告

是什么

数据分析报告：是根据数据分析原理和方法，运用数据来反映、研究和分析某项事物的现状、问题、原因、本质和规律，并得出结论，提出解决办法的一根分析应用文本；

4大写作原则

数据分析报告的写作原则：

• 1）规范性：名词术语一定要规范，标准统一，前后一致；
• 2）重要性：一定要体现数据分析的重点
  • 在各项数据分析中，应该重点选取关键指标，科学专业地进行分析；
  • 此外，针对同一类问题，分析结果也应当按照问题重要性的高低来分级阐述；
• 3）谨慎性：报告编制过程一定要谨慎：
  • 数据必须真实、完整
  • 分析过程必须科学、合理、全面
  • 分析结果要可靠；
  • 内容要实事求是；
• 4）创新性：适时的引入各种新的研究模型和分析方法

总之，一份完整的分析报告，应当围绕目标确定范围，遵循一定的前提和原则，系统反映存在的问题及原因，从而进一步找出解决问题的方法。

3大作用

数据分析结果，无论数据搜集多么科学，分析方法多么高深，数据处理多么先进，如果不能将其有效组织展现出来，并与决策者进行沟通交流，就无法向决策者提供一个满意的解决方案。

数据分析报告主要有三方面作用：

• 1）展示分析结果：将数据分析结果清晰展示给决策者，使他们能够迅速理解、分析研究问题的基本情况、结论、建议等内容；
• 2）验证分析质量：分析报告是对整个数据分析项目的总结，通过对数据分析方法的描述、对数据结果的处理与分析来检验数据分析质量，让决策者能够感受数据分析过程是科学严谨的；
• 3）为决策者提供参考依据：分析报告是决策者二手数据的重要来源之一。

分类

1.专题分析报告

对主体的某一方面或某一问题进行专门研究的分析报告；主要作用是为决策者制定某项政策、解决某个问题提供决策参考依据；

特点：

• 1）单一性：不要求反映事物全貌，主要针对某一方面进行分析；
• 2）深入性：报告内容单一，重点突出，用于集中精力抓住主要问题进行深入分析，包括
  • 对问题进行具体描述；
  • 引起问题原因的分析；
  • 提出切实可行的解决办法；

2.综合分析报告

对研究主题的业务或其他方面发展情况的全面评价。

特点：

• 1）全面性：以研究对象为分析总体，以全局的高度，反映总体特征，作出总体评价，得到总体认识；
• 2）联系性：要把相互关联的一些现象、问题综合起来进行全面系统的分析；
  • 并不是对全面资料的简单罗列；
  • 而是在系统的分析指标体系上，考察现象之间的内部联系和外部联系；

3.日常数据通报

以定期数据分析报表为基础，反映计划执行情况，并分析其影响和形成原因。

特点：

• 1）进度性：由于反映计划执行情况，因此需要把计划执行进度与时间的进展结合起来分析，观察并判断计划完成好坏；
• 2）规范性：属于例行报告，结构较为规范；基本组成部分有：
  • 反映计划执行的基本情况；
  • 分析完成或未完成原因；
  • 总结计划执行中的成绩和经验，找出存在问题；
  • 提出措施与建议
• 3）时效性

数据分析报告结构

采用“总——分——总”的结构，主要包括：开篇、正文和结尾三大部分。

1.开篇部分：

• ①标题页；
• ②目录；
• ③前言：主要包括分析背景，目的与思路；

2.正文部分：包括具体分析过程与结果；

3.结尾部分：包括结论、建议及附录；

1.标题页

标题常用类型：

• 1）解释基本观点：《语音业务是公司发展重要支柱》
• 2）概况主要内容：《公司销售额比去年增长30%》
• 3）交代分析主体：《2018年运营分析》
• 4）提出问题：《客户流失去哪》

要素：

• 标题；
• 部门；
• 日期；
• 作者；

2.目录

当书面报告中有大量图表时，可以考虑将各章图表单独做成目录，节省领导阅读时间；

3.前言

主要包括分析背景，目的与思路：

• 为何要展开此次分析？有何意义？
• 通过此次分析，要解决什么问题？达到何种目的？
• 如何展开此次分析？主要通过哪几方面展开？

1）分析背景：

主要是为了让报告阅读者对整个分析研究背景有所了解；

主要阐述此项分析的主要原因、分析意义，以及其他相关信息，如行业发展现状等。

2）分析目的：

主要是为了让报告阅读者了解开展此次分析能够带来何种效果，可以解决什么问题。

3）分析思路：

指导分析师进行完整的数据分析，即确定需要分析的内容或指标。

4.正文

系统全面的表述数据分析的过程与结果；

包括论点与论证，其特点：

• 包含所有数据分析事实和观点；
• 通过数据图表和相关文字结合分析；
• 正文各部分具有逻辑关系；

5.结论与建议

结尾是对整个报告的综合与总结，深化与提高，是得出结论、提出建议、解决矛盾的关键。

结论是以数据分析结果为依据，得出的分析结果，通常以综述性文字来说明：

• 其不是分析结果的简单重复；
• 而是结合公司实际业务，经过综合分析、逻辑推理形成的总体论点；

建议是根据系数据分析结论，对企业或业务面临的问题而提出的改进方法：

• 主要关注保持优势，及改进劣势等方面；
• 必须结合具体业务与分析结果，才能提出切实可行的建议；

6.附录

附录提供正文中涉及而未予以阐述的有关资料，包括：

• 报告中涉及的专业名词的解释；
• 计算方法；
• 重要原始数据；
• 内容均由编号，以便查询；
• 不是必须；

数据分析报告5大注意事项

1.结构合理，逻辑清晰

• 逻辑合理，
• 章节界限清晰，
• 按照业务逻辑或内在联系有条理的论证，
• 数据分析结果简洁、清晰；

2.实事求是，反映真相

3.用词准确，避免含糊

• 对每一个指标、词语负责；
• 用数据说话，避免“大约”，“估计”，“较”等模糊字眼的出现；
• 报告必须明确告诉阅读者，什么是合理情况，什么是不合理情况；

4.篇幅适宜，简介有效

• 报告价值主要是为决策者提供所需信息，且这些信息能够解决他们的问题；
• 明确你的需求方——领导的需求

5.结合业务，分析合理

• 报告不仅仅要基于数据而分析问题；
• 必须紧密结合公司具体业务，才能得出可实行、可操作的建议；
• 不能脱离实际；