数据分析概率及统计学基础

最新推荐文章于 2024-06-17 09:09:25 发布

back_to_dream

最新推荐文章于 2024-06-17 09:09:25 发布

阅读量4.1w

点赞数 14

分类专栏：数据分析计算机系统

本文链接：https://blog.csdn.net/back_to_dream/article/details/51361431

版权

这篇博客详细介绍了数据分析的基础，包括数据分析概述、描述性统计分析、抽样估计、假设检验和方差分析等内容。强调了数据分析在商业决策中的作用，探讨了统计分析与数据挖掘的关系，详细阐述了各种统计方法如正态分布、假设检验、方差分析和简单线性回归分析的应用。

摘要由CSDN通过智能技术生成

一.数据分析概述

1. 数据分析的概念

数据分析就是分析数据，从一大堆数据中提取你想要的信息。比较专业的回答：数据分析是有针对性的收集、加工、整理数据，并采用统计、挖掘技术分析和解释数据的科学与艺术。比较客观的回答：从行业的角度看，数据分析是基于某种行业目的，有目的地对数据进行收集、整理、加工和分析，提炼有价值信息的过程。

理解数据分析的三个方面：目标、方法、结果。

2. 数据挖掘的概念

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。它是一门涉及面很广的交叉学科，包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。

3. 商业数据分析预测的本质

数据分析和业务是紧密联合在一起的，其目的就是满足商业决策的需求。预测未来发展情况，及早发现问题，对业务进行优化，制定最优的决策方案。

4. 数据分析的8个层次

常规报表

即席查询

多维分析

警报

统计分析

预报

预测型建模

优化

5. 大数据对传统小数据的拓展

（1）大数据与小数据，大量数据的区别与转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。
（2）.还有一个重要的区别是在用途上，过去的数据很大程度上停留在说明过去的状态，拿数据说话，实际上是用过去的数据说明过去，而大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。使数据从原来停留在说明过去变为驱动现在，我以为预测对企业的作用从两个方向：
A.宏观是对趋势的预测，给企业做大势分析，
B.微观是对个体的精准分析，给企业做个性化精准营销
（3）.从结构上，大数据更多的体现在海量非结构化数据本身与处理方法的整合
大数据与小数据判断原则：
A.数据的量
B.数据的种类、格式
C.数据的处理速度
D.数据复杂度
（4）.分析基础不同，大数据是只有在大规模数据的基础上才可以做的事情，而这需要有从量变到质变的过程，也正因为科技的创新在方法上打下基础，而利用互联网展开的新的生活与工作方式，让信息积累到可以引发变革的程度，而很多事情在小规模数据的基础上是无法完成的

6. 明确数据分析目标的意义

数据分析的关键在于设定目标，专业上叫做“有针对性”。

数据分析的前提是有清晰的目标。对数据分析目的的把握，是数据分析成败的关键。只有对数据分析的目的深刻理解，才能整理出完整的分析框架和思路，因为根据不同的分析目标所选择的分析方法是不同的。

7. 数据分析的过程

明确分析的目的和内容——>数据收集——>数据预处理——>数据分析——>数据展现——>撰写报告

8. 统计分析和数据挖掘的区别和联系

联系：都来源于统计基础理论，数据挖掘中也经常会用到统计分析方法，如主成分分析、回归分析

区别：数据挖掘是统计分析方法的延伸和发展。统计分析常需要先做假设或判断，然后利用数据分析技术来验证假设是否成立。数据挖掘则不需要对数据内在的关系做任何假设和判断，而是让数据挖掘工具中的算法自动去寻找数据中隐藏的关系和规律。统计分析在预测中的应用常表现为一个或者一组函数关系式，而数据挖掘在预测中有时候不会从结果中生产明确的函数关系，不知道哪些变量起作用，缺乏解释性，例如“神经网络”。

实际应用中，统计分析和数据挖掘是不可分割开来。