数据分析概述

实验目的

了解数据分析定义

了解数据分析流程

了解项目中常见角色及其职责

实验原理

数据分析（Data Analysis）是指使用合适的统计方法对已收集的大量数据进行分析，也可以将其看作为了获取有用信息或得出某种结论，从而对数据进行详细的研究和概述总结的过程。
　　
　　数据分析有一套属于自己的严谨且灵活多变的进度流程。通过对项目流程的创建和记录，可以使项目更加严谨，同时也提高了结果可信度。一套规范严谨的进度流程，可以适用于多个项目，其中的分析方法和经验也可以被多次借鉴。
　　
　　一个优秀的数据分析项目，需要不同角色人员之间相互合作。例如，对于一个项目，首先需要了解用户的需求是什么，作为项目的工作人员需要知道想要得到什么样的结果等。以下是项目中几个常见角色及其职责要求：
　　
　　用户（User）：对于一个项目，其最终面向对象就是用户，用户对业务的需求最为了解，用户提供了项目背景，同时可以向项目团队提供建议需求。
　　
　　项目发起人（Project Sponsor）：负责项目的发起工作，重点在于审批项目计划、建立预算和投入项目资金，协助解决项目相关需求，同时还负责定期对项目进度进行审查和跟进。
　　
　　项目经理（Project Manager）：负责处理所有事务性的工作，对项目进行质量、进度、制作成本等方面的协调和监督。项目经理是进行项目策划并负责执行的人。项目经理需要具备超强的号召力、影响力、交流能力、应变能力等要求，同时还需要具丰厚的管理技能。
　　
　　商业分析师（The Business Analyst）：该角色需要了解数据的来源和更新，负责创建报表报告，掌握基本工具的使用，对数据、KPI、数据建模以及商业智能有深刻理解，可以对项目提出针对性的方案或者建议，和数据分析师相近。另外商业分析师通常在业务员和技术专家之间扮演中间人的角色，用于改善业务处理。
　　
　　数据库管理员（Database Administrator，简称DBA）：也叫做数据库工程师，该角色负责提供和配置数据库环境，数据库管理员的工作重点就是确保组织内的每个利益相关人都能够访问数据库内容，同时还要实施正当和必要的安全措施确保数据库存储的安全。数据库管理员必要技能包括：数据的备份与恢复、数据建模设计、分布式计算、数据库系统（以SQL和其他非SQL为基础的）、数据安全等。
　　
　　数据工程师（Data Engineer）：主要负责具体的数据提取，同时进行大量的数据操作来协助分析。数据工程师要与数据科学家一起，共同确保生成有效的数据进行后续分析。
　　
　　数据科学家（Data Scientist）：数据科学家利用科学方法，运用数据挖掘工具对原始数据进行必要的清理过滤分析，并将数据以数字化形式重现。其需要具备的能力有：对数据的提取、统计分析、数据信息挖掘、描述与可视化、预测模型等。其主要工作就是清洗、转换、组织大数据。

图1 项目角色及其职责

上图是数据分析时需要用到的一些角色，但是在数据科学行业中还有一些其他关键角色，这里可以进行简单的了解。
　　
　　数据分析师（Data Analyst）：和数据科学家类似，数据分析师是对数据进行收集、整理、分析，并对数据做出相应研究、总结和预测的人员，也叫数据分析员。其需要掌握的基本语言有R、Python、SQL等，总的来说，数据分析师需要掌握技术的同时，还要熟悉业务。
　　
　　数据架构师（Data Architect）：数据架构师在整个项目开发中都起着非常重要的作用，不仅需要掌握整体框架，同时还需要注意局部细节。数据架构师的任务不是从事具体的软件程序的编写，而是进行更高层次的开发构架工作。例如根据项目评估和确定系统需求，给出开发规范，最后搭建系统实现的核心构架，同时也会根据具体的业务场景给出解决方案。
　　
　　在进行数据收集和分析的时候，需要大量的时间周期，而急于收集的信息则会导致：
　　
　　（1）收集的信息不够全面；
　　（2）对数据理解错误，偏离业务真实需求；
　　（3）没有足够的时间规划整个项目所需要的工作；
　　（4）无法通过对问题业务的解决而达到预期的目标。