技术学习|CDA level I 绪论

1.1 数据分析概述

1、数据分析定义为：用适当的分析方法和挖掘方法对收集来的数据进行研究总结，提取有用的信息，形成结论并支持决策的过程。

2、大数据：体量巨大、来源多样、生成极快、复杂多变，并且难以用 传统数据体系进行有效处理。

3、数据分析师：在不同行业中从事数据的采集、处理、分析并能制作业务报告，提供商业评估与决策，且具备职业道德和行为素养的专业人士。

4、用于商业决策的数据分析方法主要分为业务描述性分析与数据挖掘分析方法两大类

• 业务描述性分析：以数据为分析对象，以探索数据内的有用信息为主要途径，以解决业务需求为最终目标，包含业务理解、数据采集、数据清洗、数据探索、数据可视化、数据建模、模型结果可视化、分析结果的业务应用等步骤在内的一整套分析流程。

• 数据挖掘：横跨计算机、数学、统计学等学科的科学分支。是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中中发现信息的计算过程。数据分析的工作内容涵盖数据挖掘的工作内容。

5、数据分析在企业中可分为宏观分析和微观分析两大类。

• 前者站在企业经营和运营的视角，为决策层和管理层提供数据支持；

• 后者站在客户的视角，进行客户洞察，挖掘客户需求和匹配产品和服务，落地自动触发策略。

根据业务实践，我们将数据科学在企业中的应用分为宏观层面分析、微观层面分析两个层面。

6、level 1考试考查考生是否具备根据已经发生及正在发生的业务实际情况、收集和应用各种业务数据，进行准确、深入、全面、易懂的数据描述的能力。需要考生掌握的知识主要以解决业务宏观层面的问题为主，通过对业务数据进行描述性分析，帮助经营决策者及时发现宏观业务能力，做出正确判断、及时解决问题，最终达到帮助企业提高经营收益的目的。

level 2考试内容涉及宏、微观相结合的分析，要求考生掌握数据治理和商业分析方法；能够针对不同的业务提出基于统计模型及数据模型的解决思路，根据不同的数据业务需求选择合适的算法进行分析与处理；能够完整准确地输出数据分析报告，实现数据模型落地。

level 3考试内容主要涉及微观个体分析，要求考生掌握算法模型和数据特征处理方法，能够针对不同的应用场景提出基于算法模型的解决思路；掌握文本、图像、声音等非结构化数据的分析方法；能够完整准确地输出分析结果，实现模型落地；能够紧跟业务与技术发展方向，时刻站在行业前沿。

7、为将数字化的工作方法引入企业经营的方方面面，CDA提出了EDIT数字化模型。包括探索（E，Exploration）、诊断（D，Diagnosis）、指导（I，Instruction）和工具（T，Tool）四个部分。

其中外环的E、D、I这三个部分由企业业务岗位的人员执行，中心T部分由技术部门人员提供数据和工作的支持。

探索是指指标体系；诊断是指性质分析法、数量分析法；指导是指知识库、策略库、流程模版；工具是指数据模型、算法模型、优化模型。

• 业务运行探索E：业务运行探索关注各个项目的运行状态、各项指标是否合规及各项业务的具体数据等。常常使用可视化的形式来展示业务运行状态。例如，我们可以首先基于KPI和业务实践来构建精益化的指标体系，然后输出业务运营监控看板。这种看板类似于汽车仪表盘，可以实时显示企业的业务运行状态。

• 问题原因诊断D：当业务指标偏离正常值时，采用定性和定量相结合的方式，在中、微观层面定位和分析问题。用数据分析的语言来说，就是识别出到底是哪些因素显著影响了该业务指标的变化。

• 业务策略指导I：在确定业务目标后，我们可以引入数字化的方法来更好地指导优化业务策略。如可以根据用户画像的结果来给不同类型的用户群体分别投放营销资源。这里，我们有知识库、策略库、流程模版等可以便捷地制定优化策略。

• 数据算法工具T：数字化工具分为两个部分，即数据工具和算法工具。数据工具（如数据库）从数据角度出发，整合企业的主数据、交易数据、分析数据和元数据，为数据应用提供数据基础。算法工具（如机器学习算法）是EDIT数字化模型的发动机，服务于价值经营、客群经营、全面质量管理、全面风险管理等各个方面。

1.2 数据分析师概述

1、数据分析师是指在不同行业中从事数据的采集、处理、分析并能制作业务报告，具备数据思维，能够提供商业评估与决策，且具备职业道德和行为素养的专业人士。

2、从工作内容的角度划分数据分析师的职责，一类是纯数据相关类岗位，另一类是工作中需要使用数据分析相关知识和技能的岗位，即数据赋能类岗位。

• 纯数据相关类岗位：这些岗位纯粹针对数据本身做各种工作，而对数据分析结果的输出与落地则关注不多。数据挖掘工程师的主要职责是解决挖掘算法中的技术问题，如解决参数调优的算法是否可以快速收敛等技术问题；数据维护工程师的主要职责是解决数据的存储、读取、关联等技术问题。（数据维护工程师、数据分析师、大数据工程师、数据开发架构师、数据治理、数据挖掘工程师、BI工程师）

• 数据赋能类岗位：在实际工作中需要应用数据分析的知识与技能的岗位。（财务分析、风控建模、行业研究、量化建模、产品经理、用户研究、运营分析、市场策略分析、销售、广告媒体、人力资源）

3、从在工作中掌握和应用的数据知识层级的角度来划分，将数据分析师分为业务数据分析师、建模算法分析师和数据科学家等3个不同的角色，分别负责宏观业务数据分析、微观数据挖掘和数据科学建设工作。

• 业务数据分析师：业务数据分析师需要具备开展数字化工作，并在工作流程中顺利应用业务描述性分析的知识与工具的能力；要能构建数字化运营指标体系，能够进行业务根因分析，能为企业的数字运营提供策略支持。业务数据分析师不只要有足够的数据分析和知识，更重要的是要有业务知识和行业经验。这样才能合理地狗仔业务指标体系，并准确地根据数据指标发现业务发展的痛点，然后基于数据分析结论提出合理的建议。

• 建模算法分析师：建模算法分析师需要具备分析业务需求、根据需求产出高质量数据挖掘模型，并将模型部署应用的能力。

• 数据科学家：在2009年由Natahn Yau首次提出。数据科学家是集技术专家与业务专家于一身，可以推动人类认知水平的科学工作者。

1.3 数据相关的安全与立法

1、欧盟的《通用数据保护条例》（General Data Protection Regulation，GDPR）已经成为公认的个人信息保护立法的典范，它主要体现在两个方面。

• 企业在收集用户的个人信息之前，必须以简洁、透明且易懂的形式，清晰和平白的语言向用户说明将收集用户的哪些信息、收集到的信息将如何进行存储、存储的信息会如何使用、企业的联系方式等。

• 用户享有的权利：数据访问权、被遗忘权、限制处理权、数据携带权

  • 数据访问权：用户有权向企业问询个人信息是否正在被处理，如果正在被处理，可以继而了解①处理的目的；②相关数据类型；③数据接收方的信息；④如果对象是数据接收方，可以问询其数据来源。

  • 被遗忘权：用户有权要求企业删除个人数据，当数据已经披露给第三方时，用户可以继而要求他们删除相关数据。

  • 限制处理权：用户有权禁止企业将个人信息用于特定的用途。

  • 数据携带权：简单来说，当用户想离开某个平台时，可以要求该平台将其在该平台产生的数据，以格式化的、机器可处理的格式提供给自己。