＜居然讲数据分析＞1-数据分析介绍

数据分析学习内容

我们想要学习数据分析的话，首先要知道学什么，不然东学一点西学一点，学到最后都不知道自己学了什么，这不是瞎耽误工夫嘛。

那我给大家介绍一下Python数据分析应该学习那些内容。

• 数据分析介绍
  • 这部分主要是让大家知道什么数据分析，数据分析流程、目的等等
• Numpy
  • 这是科学计算的一个库，重在数值计算,也是大部分python科学计算库的基础库
  • scipy
    • 在numpy库的基础上增加了众多的数学、科学及工程常用的库函数
• pandas
  • pandas主要是做数据处理，可以用它来读取和处理各种格式的数据、进行数据清洗、数据转换等操作
• 数据可视化
  • Matplotlib
  • Seaborn
  • Pyecharts
  • 这三个都是数据可视化的库，可以将数据变成可视化的图表，但是大家不要觉得数据可视化就是将数据变成图表，首先你要绘制什么样的图表，如果有多个图表、多个图表直接怎样结合会更加直观的展示

随便给大家推荐一个学习方法

• 重视基础，俗话说的好，基础不牢、地动山摇、如果基础都没有打好，就着急往后学习，急于求成，往往会导致自己的学习效果更不好。
• 归纳总结，自己学到的东西，最好能整理成笔记，自己在写笔记的时候，也相当于在对这个知识点重新学习
• 多练习、多思考，估计这个大家也是经常听到，学习任何东西都是需要多练习，在练习的基础上，还要有自己的思考，这样学习的效果是最好的

数据分析发展方向

知道了数据分析应该学什么，那学完数据分析我们可以去做哪些岗位呢？给大家介绍一下。

先来给大家解释一下DE、DA、DS是什么意思

• DE，Data Engineer 数据工程师
• DA，Data Analyst 数据分析师
• DS，Data Scientist 数据科学家

DE一般是从事大数据开发工程师，主要学习的内容也是大数据技术栈的，像Java、Scala、Hive等

DA是数据分析师，主要是用Excel、power BI、Tableau来处理数据的，对数据分析师来说，一定要懂具体的业务

DS是数据科学家，主要是学习一些机器学习里面的算法(kmeans、svm、线性回归模型)，是数据分析师的进阶版，需要具备更高级的数据分析、建模和预测能力

需要注意的是，这三个角色之间并没有明确的边界，有些公司可能将它们的职责和技能要求进行了重叠和组合。

数据分析介绍

我们之前讲了数据分析应该学习什么，以及数据分析可以分为哪些方向，那么接下来，我们就正式进入到数据分析的学习

数据分析基本概念

• 用适当的统计分析方法对收集来的大量数据进行分析
• 提取有用信息和形成结论
• 对数据加以详细研究和概括总结的过程

概念性的东西，大家不用过多的去纠结，给大家举个例子，假如我有一个Excel表格，里面有1万条用户消费清单，那你从这个Excel表格中发现什么有用的信息吗，或者能得出什么结论吗，如果你只是把Excel表格中的数据给老板查看，那老板肯定眉头紧锁

数据分析的流程

• 明确目的
• 准备数据
• 数据解析
• 分析数据
• 获得结论
• 成果可视化

接下来每一个步骤，我都会展开来给大家说说。

明确目的

我们在刚开始学习数据分析的时候，可能会有疑问，我们为什么要明确目的呢？

比如我们要分析，这个月的销售额为什么会下降？

那我们可以从哪些角度进行分析呢？ 可以大致分为内部和外部，当时实际在分析的时候，肯定不止这两种，这里只是给大家举例

• 内部原因
  • 产品原因
  • 流量原因
  • 客户原因
  • …
• 外部原因
  • 竞争公司
  • 经济情况
  • …

有了角度，那我们还需要知道可以采用哪些分析指标或者方法来进行分析

分析方法有很多，大家刚开始学习的阶段不用过多纠结

• 1.公式拆解；如：利润 = 收入 - 成本
• 2.对比分析；如：时间维度上进行对比，与同行业的数据进行对比
• 3.A/BTest；如：分组测试，用一部分的数据来进行测试
• 4.象限分析；
• 5.二八法则；
• 6.漏斗分析；主要看每个环节流失了多少

准备数据

数据的来源可以分为，内部数据和外部数据

• 内部数据可以是软件自身的积累
• 外部数据
  • 1.可以通过购买获取到一些脱敏的数据
  • 2.通过爬虫获取到一些免费公开的数据

数据解析

数据解析就是把杂乱无章的数据处理成有一定结构、整洁的数据的过程

数据解析也要看数据量的大小，如果数据量比较小的话，数据分析师处理就可以了，如果数据量比较大的话，可能会通过数据架构部门来处理

分析数据&获得结论

数据解析之后，就是分析数据了，分析数据可以根据我们刚才说到的分析方法，通过分析方法，我们可以获取到结论

数据可视化

数据可视化，并不是单纯的将数据展示出来，我们还可以通过数据可视化识别出异常值。

数据分析工具

工具：Excel、tableau、spss

编程语言：R、Python、matlab

数据分析与数据挖掘的相似之处：

1. 数据挖掘和数据分析都是对数据进行分析、处理等操作，从而得到有价值的知识

数据分析与数据挖掘的区别：

1. 在应用工具上，数据分析更多的是借助现有的分析工具进行；而数据挖掘一般需要通过编程来实现。
2. 在行业知识方面，数据分析要求对所从事的行业有比较深的了解，更多的是将数据与业务紧密结合起来；而数据挖掘不需要有太多的行业知识，更专注与技术层面。