初识数据分析

一．定义：

        数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

二．数据分析的一般流程：

1. 问题定义：

        典型的场景是我们需要针对企业的数据进行分析，比如公司通常会有销售数据、用户数据、运营数据、产品生产数据……你需要从这些数据里获得哪些有用的信息，对策略的制定进行指导呢？又比如你需要做的是一份市场调研或者行业分析，那么你需要知道你需要获得关于这个行业的哪些信息。

        首先你需要确定去分析的问题是什么？你想得出哪些结论？比如某地区空气质量变化的趋势是什么？

就我看来这是一个比较重要的部分，不明确的研究目的得到是失去意义的无效数据，明确了研究目的可以更好地确定收集和分析哪些数据。

2.数据获取：

        第一种是可以直接从企业数据库调取的数据，所以需要SQL技能去完成数据提取等的数据库管理工作。

        第二种是获取外部的公开数据集。

        第三种是编写网页爬虫，去收集互联网上的数据。

3.数据预处理：

        现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据分析，或分析结果差强人意，所以要进行对数据的预处理才能获得更加精确地分析结果。

        数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。

4.数据分析与建模：

        在这个部分需要了解基本的数据分析方法、数据挖掘算法，了解不同方法适用的场景和适合的问题。数学模型的建立，这一步可以说是数据分析的关键一步，模型的建立。我们要对未来的数据进行预测，如何将我们影响因子加入到模型，权重如何设置、函数的阶数如何设置都是我们要解决的问题。

        数据分析的方法有：回归分析，逐步回归分析，聚类分析，系统聚类分析。

        数学建模中常用的方法：类比法、二分法、量纲分析法、差分法、变分法、图论法、层次分析法、数据拟合法、回归分析法、数学规划（线性规划，非线性规划，整数规划，动态规划，目标规划）、机理分析、排队方法、对策方法、决策方法、模糊评判方法、时间序列方法、灰色理论方法、现代优化算法（禁忌搜索算法，模拟退火算法，遗传算法，神经网络）。

5.数据可视化及数据报告的撰写：

        数据可视化的目的是准确而高效，精简而全面地传递信息。可视化能将不可见的数据现象转化为可见的图形符号，能将错综复杂的数据建立起联系和关联，展现规律和特征。

        数据分析报告是数据分析结果的有效承载形式。数据分析报告可以陈述项目概况，展示分析结果，验证分析质量，提供决策参考。数据分析报告不仅是分析结果的直接呈现，还是对相关情况的一个全面的认识。

总结：

        数据分析的一般流程总的来说就是这几个步骤：问题定义、数据获取、数据预处理、数据分析与建模、数据可视化与数据报告的撰写。

三．数据分析所需要的知识：

1. SQL数据库知识

 MySQL数据库

 SQL操作语句

2. 利用 Python 进行数据分析和可视化

 Python数据分析

 Python数据可视化

3. 概率统计知识

 概率论

 统计学

（小白一个，如有纰漏，还望指正）