数据分析概述，知识框架

数据分析的作用

• 数据：

现有的表面数据，基于业务或者网络搜索得到的最初的、未加以处理的原始数据
处理数据， 基于原始数据进行加工整理
分析数据，高阶分析后产生的分析结果数据（最有价值的数据）

• 分析：

简单分析，均值、方差、分布
高阶分析，相关性分析、预测分析

- 数据分析

实质就是通过数据来反应现状、原因、未来发展前景等。为业务的发展提供数据支撑，让决策科学合理

数据分析的思路
分析目的—获取数据—数据预处理—数据的分析—数据的分析结果可视化——形成分析报告

数据分析的步骤，
1，分析目的，从实际的业务需求出发，明确要解决的问题是什么
》》》》我，紧扣实际需要，需要什么学习什么，分析什么
2，获取数据，数据库（业务部门）、数据爬取（爬虫）、专业统计机构统计数据、调研
》》》》我，提高数据的搜集能力，网络搜索、爬虫等
3，数据预处理：数据清洗、数据转换，数据的计算，核心思想是为数据分析准备高质量的数据、
4，数据分析：利用统计学、机器学习等的理论，借助统计分析软件（Excel、Spss、python），对数据进行分析，包括聚类分析、分类分析、关联分析、预测分析等。核心思想利用算法分析数据，得到结果。
聚类分析：对海量数据进行分析，利用某一数据特征，对数据进行聚类，如对人群金聚类，针对不同的人群制定不同的营销策略。
分类分析：在进行聚类后，对数据进行分类的汇总，如图像书别车辆图片，自动判别数据哪一类的车型
关联分析：分析两个指标之间是否具有关联关系
预测分析：根据现有数据分析未来的数据
》》》》我，SPSS Python MATLAB Excel
6，制作图表展示分析的结果，并利用PPT等方式对分析结果进行展示和解读分析。这个在工作中很重要，汇报的主要内容。
》》》》我，PPT 图表 设计 PS 口头表达能力，个人展示能力
7，书写分析报告，总结性质，在工作也很重要！
》》》》文档书面表达能力

数据分析的学习目标
给DQ交会一般的数据分析。
具备数据分析、展示、汇报的能力，不同一般的Excel做个图表，高阶的分析、展示能力。
成为自己职场的一个长项。
完成本门课程

成为数据分析师的条件
1，商业思维，能敏锐的捕捉到哪些数据时有价值的数据，值得进行深入的挖掘，从而产生价值。
2，处理、分析数据的能力，编程+统计基础原理+业务理解
3，好奇心和持久的热情
4，批判思维，分析思维

知乎贴
数据挖掘的一般工作：
1，检查现有数据，是否有波动，分析波动原因——原数据
2，针对新业务，制定的数据模型和数据评估体系——处理新业务
3，基于数据分析，搭建商品推送等，和业务应用的实际系统。——解决问题
数据挖掘的算法：
1，一般都采用简单的算法满足实际的业务
2，新的算法模型的使用范围不大，但能解决关键问题
数据挖掘的方式
1，由于PC的能力性质，一般采用服务进行计算和脚本部署。
数据挖局的工具：
python pandas Jupyter
大数据一般都很大，采用Hadoop处理，

个人感受：
1，结果导向！！！！自己目前的薄弱点，没有结果就是0，就是0！！不管你的过程多么好，结果是第一位的！！！
2，要从事一个自己感觉有意思，对行业有深深的认同感和自豪感的行业！！！ 对工作的热情很重要！！1
3，要时刻总结和复盘！！，写技术博客就是很好的方式。
4，对新的技术有着很大的学习热情，自己具备这一点
5，要突破自己的思维限制，利用研究生的时间，多多学习一些自己感兴趣的知识。

对该贴不断更新，梳理数据分析、数据挖掘的知识脉络