数据分析总览--一文读懂数据分析

最新推荐文章于 2024-02-27 21:13:28 发布

爱听雨声的北方汉

最新推荐文章于 2024-02-27 21:13:28 发布

阅读量735

点赞数

分类专栏：随时随地都要学一学计量经济学文章标签：数据分析数据挖掘 big data

本文链接：https://blog.csdn.net/qq_25018077/article/details/123128760

版权

随时随地都要学一学计量经济学专栏收录该内容

45 篇文章 63 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文是关于数据分析的全面概述，旨在帮助读者理解数据分析的基础知识和流程。首先，文章介绍了数据分析的概念，强调其在解决问题和决策中的重要性。接着，详细阐述了数据分析的步骤，包括定义分析目的、数据收集、数据处理（数据清理、数据集成、数据规约）以及数据分析（探索性分析、建模与算法、可视化）。在数据处理部分，作者详细讨论了数据清理的技巧，如处理缺失值、离群点和噪声。最后，文章提到了数据分析在实际工作中的迭代性质，并强调了可视化在传达分析结果中的作用。

摘要由CSDN通过智能技术生成

笔者从今天开始集中梳理数据分析的相关知识点，而今天主要是从总体的框架上面带领大家认识数据分析，并进一步帮助大家在心目中明确数据分析的范围和主要框架。

1.数据分析相关概念

分析指的是将一个整体分解成单独的部分进行单独的检查。数据分析是获取原始数据并将其转换成对用户决策有用的信息的过程。收集和分析数据以回答问题、测试假设或反驳理论。

统计学家John Tukey在1961年将数据分析定义为:“分析数据的程序，解释这些程序结果的技术，计划收集数据以使其分析更容易、更精确或更准确的方法，以及所有的机械和结果(数学)统计数据适用于分析数据。”可以发现，John的从统计学家的视角出发进行数据分析定义的，也就是说本质上数据分析是一系列的方法和程序。

2.数据分析的过程

与任何科学学科一样，数据分析遵循严格的分步过程。每个阶段都需要不同的技能和诀窍。数据分析可以分为以下几个过程：

2.1 定义数据分析目的

数据是数据分析的基本元素，因此数据作为分析的输入是必要的，而数据分析在数据输入前就需要明确数据分析的要求，而这些要求是根植于分析的目的的，也就是说数据分析的要求是根据指导分析的人或客户(他们将使用分析的最终产品)的要求指定的。将在数据分析要求的基础上收集数据的实体的一般类型被称为实验单元(例如，人或人群)。可以指定和获得关于人口的特定变量(例如年龄和收入)。数据可以是数字的或分类的(即数字的文本标签)。也可以是结构性性的和非结构性的，之前笔者讲过关于两