《数据分析师养成宝典》

数据分析师养成宝典

程显毅 曲平 李牧

50个笔记

0.2 数据分析

趋势是指市场运动的方向，有三个方向：上升方向、下降方向和水平方向。趋势的类型（规模）分为：主要趋势（一年以上）；次要趋势（三个星期到数月）；短暂趋势（两三个星期）。

0.4 数据分析过程

在实际工作中，业务问题定义永远都是模糊笼统的，如什么样的推荐者能够带来高（或者低）价值客户?但是，指标却是具体的。怎样把一个抽象的目标具体化?谁来起到桥梁的作用?那就是指标设计。好的指标设计能够把抽象目标具体化，而且具有直接的管理实践含义。指标设计，首先要进行描述性统计分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合、计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。指标设计的核心任务是把原始数据转换为专家数据，使数据分析项目落地，包括对问题分解和对数据分解。

参与建模的变量太多会削弱主要业务属性的影响，并给理解分群结果带来困难；变量太少则不能全面覆盖需要考查的各方面属性，可能会遗漏一些重要的属性关系。输入变量的选择对建立满意的模型至关重要，应结合此次分析任务的目标，选择有重要业务意义并与数据挖掘目标密切相关的变量；被选择的变量应具备较好的数据质量，并且被选变量之间的相关性不宜太强。

建立模型是一个螺旋上升、不断优化的过程，在每一次聚类结束后，需要判断聚类结果在业务上是否有意义，其各群特征是否明显。如果结果不理想，则需要调整聚类模型，对模型进行优化，称为聚类优化。聚类优化可通过调整聚类个数及聚类变量输入来实现，也可以通过多次运行，选择满意的结果。

第1章 正确的思维观

正确的思维观是一种通过数据手段解决问题的思维。

在我们读过的历史类或战争类的小说中，谋士给统帅的策略一般会给出上策、中策和下策，而统帅经常会出于人道主义原则选择中策或者下策。越是厉害的谋士给出的策略出发点越是绝对理性，不考虑感性的情怀与仁慈，一切以成功为最终目的。数据分析师就要具有这种谋士的精神，客观与理性地解决问题。同样，只要统帅提出问题，谋士总能给出解决方案，虽然有些理想主义的情怀，但是能从一定意义上反映数据分析思维的两个方面：分析问题的思想和处理问题时的态度。

①均值是观测值的重心：对称分布或接近对称分布时代表性较好。②中位数是观测值的中心：数据分布偏斜程度较大时代表性较好。③众数是观测值的重点：偏斜程度较大且有明显峰值时代表性较好。

变异系数是对数据相对离散程度的测度；消除了数据水平高低和计量单位的影响；用于对不同组别数据离散程度的比较。

异常值：x>上四分位数+1.5×（上四分位数-下四分位数）x

离群值：x>上四分位数+3×（上四分位数-四百分位数）x

分析就是将研究对象的整体分为各个部分、方面、因素和层次，并加以考查的认知活动，也可以通俗地解释为发现隐藏在数据中的“模式”和“规则”。分析的有效性建立在这样一个共识上：一切结果都是有原因的。

如果描述与概括是向其他人呈现一组数据，那么分析就是从描述与概括中抽离出能够实现目标的元素：A地男生的身高要高于B地男生。

逻辑思维是一种确定的，而不是模棱两可的；前后一贯的，而不是自相矛盾的；有条理、有根据的思维。在逻辑思维中，要用到概念、判断、推理等思维形式和比较、分析、综合、抽象、概括等思维方法，而掌握和运用这些思维形式和方法的程度，也就是逻辑思维的能力。辨别在前，推理在后，这是逻辑思维的核心。就像走路一样，在走第一步之前，必须是脚踏实地的，只有在走之前确认脚下有地，这样才可以走第一步。迈步子好比是推理，而在迈步子之前必须辨别是否脚踏实地。

逻辑思维具体包括以下几个方面。1.3.1 上取/下钻思维（1）上取上取思维就是在看完数据之后，要站在更高的角度去看这些数据。站在更高的位置上，从更长远的观点来看，从组织、公司的角度来看，从更长的时间段（年、季度、月、周）来看,从全局来看，你会怎样理解这些意义呢?也许向上思维能让你更明白方向。关键:建立长远目标、全局观念、整体概念、完整地分析数据，不做井底之蛙。（2）下钻下钻思维就是把事物切细了分析。数据是一个过程的结果反映，怎样通过看数据找到更多的原因，发现隐藏在现象背后的真相，需要把事物切细了分析。原理：显微镜原理。关键：知道数据的构成、分解数据的手段、对分解后的数据的重要程度的了解。实际情况：哪些数据需要分解分析?1.3.2 求同/求异思维（1）求同当一堆数据摆在我们面前时，表现出各异的形态，然而我们却要在种种的表象背后，找出其共同规律。关键：找到共性的东西进行分析，要客观。实际情况：现在的整体数据表现出什么问题?是否有规律可行?（2）求异每一个数据都有相似之处，同时，也要看到它们不同的地方，特殊的地方。关键：对实际情况的了解，对日常情况的积累，对个体情况的了解，对个体主观因素的分析。实际情况：你了解你的下属员工吗?如何帮助她们分析问题，从自身找到解决方案。1.3.3 抽离/联合思维（1）抽离当你从一个旁观者的角度不思考看待数据时，往往能发现那些经常让我们迷失方向的细枝末节，这并没有太多的意义，我们迷失方向，忘记了自己的价值，同时深受情绪困扰。这时，用抽离思维或许能够帮助到你。关键：多种分析方法，多角度看问题，不要钻牛角尖，多学习别人的好方法，学会集思广益，发散性思维。实际情况：你的学习能力和方法有效吗?

（2）联合面对很多数据需要我们能站在当事人的角度去思考和分析，这样才会理解人、事、物。关键：了解当事人的情况，学会换位思考。实际情况：你了解你周边的情况吗?你了解你周围的人吗?1.3.4 离开/接近思维（1）离开通过数据分析，你发现自己处在一个不太有利的地位，那么，此时就要用离开思维去想办法，离开困境。关键：学会自我调节，自我放松。实际情况：遇到难解的结，你怎么办?（2）接近要达成目标，实现销售增长，这时候需要用接近思维来帮助你。关键：多接触要解决的问题，花时间分析，你要的是方案，不是问题。实际情况：你在做选择题还是问答题?责任点在哪?1.3.5 层次思维问题发现是第一步，要怎样分析问题，找到真正的原因，那么就应该熟练地运用理解层次。关键：你需要熟悉客观环境、员工的