人人都应该成为数据分析师

以下文章内容，来自草堂君的新书《人人都会数据分析-从生活实例学统计》。因为新书中增添和细化了很多知识点，所以草堂君会逐步将这些内容补充到统计基础导航页中来，帮助大家建立数据分析思维。限于篇幅，只截取书中部分内容。

大数据时代改变着人们的生活和商业活动，同时也改变着就业市场的需求。数据分析能力已经成为不少具有前瞻性公司招聘人才时要求的基本技能之一，因为无论什么工作岗位，岗位的工作职责中必定包括数据分析和结果展示的要求。例如，销售岗位的市场调研数据分析；财务岗位的财务数据分析；生产岗位的生产数据分析等。信息化时代的发展要求人人都需要掌握一定的数据分析能力，这不仅能帮助人们在工作中解决各种问题，提高个人的工作能力和工作效率，还能在生活中帮助人们在面对艰难选择时理性地做出正确的选择。数据分析能力这么重要，那么数据分析能力包括哪些？数据分析师是如何练成的呢？本节将向你介绍如何一步一步成为数据分析师。

数据分析过程

数据分析能力贯穿在数据分析的所有步骤中，在分工细致的专业咨询公司，数据分析的每个具体步骤甚至都由专人负责，由此可见，数据分析能力是一项综合性的能力。如下图所示，数据分析过程一般包括六个步骤：确定目标数据、数据采集、数据清洗、数据存储、数据分析、结果可视化及结果支持的决策等步骤。

确定目标数据

在获取数据之前，首先需要根据数据分析的目的筛选出需要采集的目标数据，这是确保整个数据分析过程合理有效的首要条件，因为只有对目标数据进行分析才有可能得到对分析者有用的分析结果。确定需要采集的目标数据种类时，不仅要全面筛选出重要数据的种类，而且要避免筛选出具有重复功能的数据种类。例如，某食品工厂为了降低自动化生产线的物料损耗，需要记录如下数据种类：物料损耗类型、数量、金额，发生物料损耗的工艺位置、时间、操作人员，物料损耗的原因等。

目标数据采集

确定好目标数据以后，第二步就是依据确定的目标数据列表对目标数据进行有效采集。根据数据采集的难易程度，数据采集可以分为数据实时采集和数据抽样采集两种形式。虽然数据实时采集的成本较高，但是实时数据分析的结果能够更真实地反映数据总体的情况，且随着计算机软硬件技术和传感器设备的快速发展，数据实时采集的成本也将快速降低，因此，现在已经有越来越多的数据采集过程使用数据实时采集的形式。例如，通过传感器对生产过程的温湿度、产品重量等生产数据进行采集就是数据实时采集的过程。因为数据实时采集的数据量都很庞大，所以常被冠以“大数据”的名号。对于一般的数据分析过程，更多采用数据抽样采集的形式，然后用样本的数据特征来推断总体的数据特征。例如，用问卷调查的形式对顾客的满意度进行抽样调查就是数据抽样采集的过程。数据的抽样采集首先需要从总体中抽取合适的样本，尽量使样本能够反映总体的特征，这样才能使数据分析结果具有参考性。

数据清洗

数据采集回来以后，需要对采集回来的数据进行清洗，提高数据质量。无论是通过传感器采集的实时数据还是通过问卷调查采集的抽样数据，都不可避免地会出现各种数据缺失和记录错误的情况。纠正拼写错误、处理缺失数据以及清除无意义的数据是数据清洗中非常关键的步骤。因为垃圾数据即使应用最合适的数据分析方法，最终也将产生错误的分析结果，从而误导业务本身。

关于数据清洗的必要性，有一个发生在美国的经典案例。在20世纪的八九十年代，很多美国公司在从事业务的过程中会有意识地记录顾客的邮政编码，以此分析主要客户的来源地。结果有不止一家公司发现有很大一部分客户住在纽约的斯克内克塔迪，邮政编码是12345，但是该小镇的人口却不足70000人。后来才发现，由于顾客往往不愿意将他们的真实信息填入问卷，所以12345这个邮政编码会以很高的频率出现在顾客的档案数据库中。如果直接分析这些失真的数据，将导致错误的结论，除非数据分析师提前发现异常，并采取了相应措施来验证和清洗数据。

数据存储

在计算机技术还未发展起来的年代，各种数据都是以纸质文件的形式存储的，特别是某些需要存储大量数据的单位，甚至需要用整栋楼的空间来存放这些纸质的数据文件。例如，公安部门的人口信息数据，气象部门的气象信息数据和制造业的生产数据等。纸质文件的数据存储形式虽然更容易，也很便宜，但是存在着数据存储过程容易发生错误，存储在各地的数据无法共享以及数据检索过程麻烦等问题，所以在大数据时代的今天，用纸质文件进行数据存储的方式已经越来越少被采用，取而代之的是各种数据库的数据存储形式。

最近几年，很多拖延了几十年的大案要案被侦破，数据库在其中发挥了非常重要的作用。例如，白银市的连环杀人案。在1988年至2002年的14年间，在甘肃省白银市有9名女性惨遭入室杀害，部分受害人曾遭受性侵害，作案手段残忍，极具隐蔽性，造成巨大的社会恐慌。直到2016年，杀人犯高承勇才被抓获，此时距离首案时间已经过去长达28年。案件能被破获的关键是公安机关建立了DNA数据库，采集和存储了大量的DNA数据，通过对DNA数据的比对分析，初步确定了犯罪嫌疑人的姓氏为高姓，极大地缩小了侦查人群的范围，后经指纹和DNA取样比对，最终确定犯罪嫌疑人为高承勇。

目前市场上有许多数据库产品，如Oracle，Microsoft SQL Serve，Microsoft Access，Visual FoxPro等，这些产品都有各自的特点，在数据库市场上占有一席之地。

数据分析

在经过了以上数据处理步骤以后，就需要采用不同的数据分析方法对数据进行分析，得到所需的数据分析结果。数据分析方法的理论基础是统计学。统计学是一门古老的学科，随着时代的发展，它所囊括的内容也越来越丰富，甚至发展出应用于各种领域的分支学科。统计学是数学的一个重要组成部分，以数理统计学为基础，对收集到的数据进行描述，然后通过推断与预测，为最终的决策提供数据参考。统计理论是数据分析过程的核心基础，只有学会了统计理论才能快速而正确的选择合适的数据分析方法对数据进行分析。本书将会在接下来的篇章中完整的介绍统计基础，帮助大家迈出成为数据分析师最扎实的一步。

结果的可视化

数据经过不同的分析技术分析以后，将会得到含义丰富的数据分析结果，这些结果可以用两种方式进行陈述：一种是数值加文字说明的方式；另一种是可视化图表的形式。后者因为具有直观形象、易于理解的特点，逐渐成为结果展示不可缺少的方式。统计图是可视化图表中非常重要的组成部分，包括直方图、箱图、散点图和柏拉图等。如下图所示，不同的统计图适用于不同的情形，这部分内容将在第5章中详细介绍。

总结一下

本节完整介绍了数据分析过程的所有步骤，相信大家学习完以后，对数据分析过程已经有了框架性的了解。要想成为一名能够独当一面的数据分析师，当然最好是能够掌握六个步骤所需的所有技能，但是这些技能也有重要性的区别。在六个步骤所需要的所有能力中，数据采集、数据清洗、数据存储和数据结果展示都可以由数据库软件和统计分析软件快速完成，只需要简单学习软件操作即可掌握，而最重要且最难掌握的是数据分析的统计理论基础，只有熟练使用各种数据统计分析方法，才能够独立进行数据分析，并成为一名真正有价值的数据分析师。如果将各种数据库软件和统计分析软件比作武功招式的话，统计理论基础就是数据分析的内功，只有掌握了内功，武功招式才能发挥出最大的威力，它们是相辅相成、互相促进的关系。

温馨提示：

• 数据分析课程私人定制，一对一辅导，添加微信(possitive2)咨询！
  

• 生活统计学QQ群：134373751，用于分享文章提到的各种案例资料、软件、数据文件等。

• 生活统计学微信交流群，用于各自行业的数据研究项目及其成果交流分享；由于人数大于100人，请添加微信possitive2，拉您入群。

• 数据分析咨询，请点击首页下方“互动咨询”板块，获取咨询流程！