数据分析是数学、统计学理论结合科学的统计分析方法。
数据分析概述
数据分析主要是指对数据库中的数据、excel表、网页爬取数据、收集的数据进行分析,从而形成有价值的结论并进行展示的过程。
常见的数据分析方法
数据分析常见的分类有一下3种。
描述行数据分析:最初级的数据分析方法。如:本月新增XXX用户。
探索性数据分析:侧重于发现规律和特征。
验证性数据分析:已经确定使用的假设模型,用来验证分析该假设模型。
从技术维度又可以分为以下几种。
统计分析类:统计分析类,以基础的统计分析为主,包括对比分析、同比分析、环比分析、定比分析、差异分析、结构分析、因素分析、80/20分析等。
高级分析类:以建模理论为主,包括回归分析、聚类分析、相关分析、矩阵分析、判别分析、主成分分析、因子分析、对应分析、时间序列分析等。
数据挖掘类:以机器学习、数据仓库等复合技术为主。
常见几种类别含义:
对比分析法:是把客观事物加以比较,以达到认识事物的本质和规律并做出正确的评价。包括纵向对比、横向对比、标准对比,以及实际与计划对比。从而展示和说明研究对象规模的大小、水平的高低等问题。
同比分析法:按照时间进行扩展,用本期实际发生数与同统计条件或口径(年、月、日,如今年这天和去年这天)历史数字相比,产生动态相对指标,展示发展水平以及增长速度。同比增长速度=(本期-同期)/同期×100%
环比分析法:环比分析是报告期水平与前一时期水平之比,表明现象逐期的变化趋势。本质就是本期数据与上期数据比较,形成时间序列图,说明每期的变化程度。环比增长速度=(本期-上期)/上期×100%
回归分析:主要用于统计分析和预测。回归分析研究的是变量之间的关系以及相互影响的程度,可通过建立自变量和因变量的方程,研究某个因素受其他因素影响的程度或用来预测。回归分析有线性和非线性回归、一元和多元回归之分。常用的回归方程有一元线性和多元线性回归方程。一元线性回归方程:以X为自变量、Y为因变量的一元线性方程。当自变量有两个或多个时,研究因变量Y和多个自变量1X,2X,…,nX之间的关系。
建立回归分析的常见过程:收集数据,画出散点图确认关系,建立回归方程,检验统计参数,进行方差分析或残差分析,优化回归方程。
聚类分析法:聚类分析多用于人群分类,如目标购物群体的分类。所谓聚类,是指将数据集中某些方面相似的数据成员进行分类组织的过程。按照某种距离计算方式,分成若干个分类,每个分类内的差异性比类与类之间的差异性小。聚类与分类分析不同,所划分的类是未知的。因此,聚类分析也称为无指导或无监督学习。它是静态数据分析的一门技术,在许多领域被广泛应用,包括机器学习、数据挖掘、模式识别、图像分析以及生物信息。
数据分析工具
excel:常用Excel进行数据分析,但在数据量大、公式嵌套多的情况,Excel处理会较麻烦。
Python:提供了大量的第三方扩展模块,如NumPy、SciPy、Matplotlib、Pandas、Scikit-Lenrn、Keras和Gensim等。
数据分析通用流程
确认目标:搞清楚要分析什么、要达到什么样的效果,明确分析目的和思路后考虑用哪种分析方法,然后进行数据处理和分析等后续工作。
获取数据:获取数据的方式多种,如:使用公开的数据集。常见的公开的数据集:UCI、github、中国统计信息网、DataCastle、Kaggle、天池、Datafountain。利用爬虫获取数据、网络采集器(造数、爬山虎)、数据交易平台。
处理数据:处理数据是指从大量的、杂乱无章的、难以理解的、缺失的数据中,整理抽取出对解决问题有价值、有意义的数据的过程。处理数据主要包括数据规约(减小规模)、数据清洗(重复数据、缺失、异常数据处理、数据探索分析)、数据加工(抽取、计算、分组、转换)等处理方法。
分析数据:选择适合的分析方法和分析工具很重要,分析方法具备准确性、可操作性、可理解性和可应用性。形成数据分析思维。
验证结果:通过工具和方法分析的结果只是数据某个结果的体现,有时不一定准确,所以必须进行验证。
展示数据:展示数据就是指数据可视化,即把数据分析结果展示给业务层的过程。
应用数据:数据分析结果应用到实际业务当中,是数据产生实际价值的直接体现。