常见数据分析误区有哪些？你犯了吗？

做一份客观的数据应该规避的常见数据分析误区：

1、数据一定客观

其实数据也会骗人，举个例子，二战时英军发现从战场飞回来的战机，机身上的弹孔比引擎和油箱上的要多得多，根据这个数据很容易得出要加强机身的防护的建议。但事实的真相是引擎和油箱上中弹的飞机已经回不来了更应加强引擎和油箱的防护，这就是常说的“幸存者偏差”。

数据可能被人为操纵。如店铺的评论，如电影的评分，如某公司发布的关于其所在行业的分析报告都具有一定的主观性。基于错误的数据做出的分析结论是无益甚至是有害。在数据分析前先要考证数据的来源及可信度还要关注不符合常理的数据变化，对数据采集方法进行调整。

2、过度依赖数据

对于业务决策来说数据分析只是辅助手段，而不是核心推动力。许多数据是无意义的，过度依赖数据于决策无益甚至会引导上级做出错误的决策。

在书籍《大数据时代》中，提到了这样一种情况：玛丽莎·迈尔在任谷歌高管期间，有时会要求员工测试41种蓝色的阴影效果，哪种被人们使用最频繁从而决定网页工具栏的颜色。这是陷入“数据之上”的误区，这样的数据是毫无意义，访客能不能看出细微的差别不说，几乎没有人会因为阴影效果的不同而决定访问/不访问这一网页。

一份靠谱的分析结论既来源于对关键数据的分析来源于经验的积累，来源于分析师对业务的认识。如果简单地把论证过程简单地简化为数据分析过程事实上是一种偷懒行为。

3、轻视业务
数据分析初学者极易犯的错误，只懂技术不懂业务不能真正理解业务需求。很多新手认为工作中只需要勤勤恳恳敲代码就行，无数SQL boy/girl就这么诞生。好的分析师既懂技术又懂业务。因为技术为业务服务，公司衡量技术的价值不在于分析技术有多高超而是对业务有没有贡献。

数据分析师也要多去一线了解业务运作，帮助解决业务运营中遇到的各种问题。除了深入了解业务，还需要积累丰富的数据分析模型库以应对各种业务场景，比如金字塔模型、KANO分析模型、RFM模型、购物篮分析模型、四象限模型…这些经典且广泛应用的模型。

4、忽略效率

数据分析是整个商业活动的一环，而商业是追求效率的。很多新人容易陷入追求完美算法的陷阱，放着简单的方案不用，非要花大量时间在钻数据算法的牛角尖上，最后交出一份领导懒得看的长文报告。对企业来说，这样的工作态度并不可取。推动分析结论落地是数据分析价值的体现，数据分析师除了要用最具效率的算法，还需要拿出让决策层和执行层都信服的分析报告。

5、“套路式”分析
在数据分析学习时或许习惯了各种解题套路，但实操时其实并不存在通用的分析套路。不同的行业、不同的业务，不同的阶段，哪怕用的是同一种分析方法结论都应有所区别。

对待每一次分析，应该结合业务场景中思考，结论要有针对性，不能被套路束缚住，也不能简单依赖过往的类似案例。大数据时代，企业的数据体量不断扩大，业务需求不断变化数据分析的环境也不断变化。要实时更新知识和工具库也要警惕和避免踩中上面这些数据分析的误区。

第一阶段：大数据开发入门

1、MySQL数据库及SQL语法

MySQL可以处理拥有上千万条记录的大型数据库，使用标准的SQL数据语言形式，MySQL可以安装在不同的操作系统，并且提供多种编程语言的操作接口，这些编程语言包括C、C++、Python、Java、Ruby等等。支持多种存储引擎。
SQL就是客户端和MySQL服务器端进行通信和沟通的语言。

2、Kettle与BI工具

Kettle作为一个端对端的数据集成平台，其部分特色功能包括：无代码拖拽式构建数据管道、多数据源对接、数据管道可视化、模板化开发数据管道、可视化计划任务、深度Hadoop支持、数据任务下压Spark集群、数据挖掘与机器学习支持。

3、Python与数据库交互

实际的生产任务中，数据几乎全部存在与数据库中，因此，与数据库的交互成为一件难以避免的事情。想要在Python代码中和mysql数据库进行交互，需要借助一个第三方的模块“pymysql”

第二阶段：大数据核心基础

1、Linux

Linux 作为操作系统，本身是为了管理内存，调度进程，处理网络协议栈等等。而大数据的发展是基于开源软件的平台，大数据的分布式集群( Hadoop，Spark )都是搭建在多台 Linux 系统上，对集群的执行命令都是在 Linux 终端窗口输入的。据Linux基金会的研究，86%的企业已经使用Linux操作系统进行大数据平台的构建。Linux占据优势。

2、Hadoop基础

2022最新大数据Hadoop入门教程，最适合零基础自学的大数据

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。它很擅长存储大量的半结构化的数据集。也非常擅长分布式计算——快速地跨多台机器处理大型数据集合。Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

MapReduce和Hadoop是相互独立的，实际上又能相互配合工作得很好。MapReduce是处理大量半结构化数据集合的编程模型。

3、大数据开发Hive基础

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。

第三阶段：千亿级数仓技术

企业级在线教育项目实战（Hive数仓项目完整流程）

大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程）

以真实项目为驱动，学习离线数仓技术。建立集团数据仓库，统一集团数据中心，把分散的业务数据集中存储和处理 ；从需求调研、设计、版本控制、研发、测试到落地上线，涵盖了项目的完整工序 ；挖掘分析海量用户行为数据，定制多维数据集合，形成数据集市，供各个场景主题使用。

第四阶段：PB内存计算

1、Python编程基础+进阶

全套Python教程_Python基础入门视频教程，零基础小白自学Python必备教程

Python高级语法进阶教程_python多任务及网络编程，从零搭建网站全套教程

Python是基于ABC语言的发展来的，Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言， 随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。

Python 语言的语法非常简洁明了，即便是非软件专业的初学者，也很容易上手，和其它编程语言相比，实现同一个功能，Python 语言的实现代码往往是最短的。

2、Spark技术栈

Spark全套视频教程，大数据spark3.2从基础到精通，全网首套基于Python语言的spark教程

Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发，课程的讲解注重理论联系实际，高效快捷，深入浅出，让初学者也能快速掌握。让有经验的工程师也能有所收获。

3、大数据Flink技术栈

Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务。Flink也可以方便地和Hadoop生态圈中其他项目集成，例如Flink可以读取存储在HDFS或HBase中的静态数据，以Kafka作为流式的数据源，直接重用MapReduce或Storm代码，或是通过YARN申请集群资源等。

4.Spark离线数仓工业项目实战

全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台

通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。