1.数据分析概述
(1)数据分析
利用统计学的方法,在数据中提取有用的信息,并进行总结与概括的过程。
(2)数据分析与挖掘的流程
数据获取 —> 探索分析 —> 预处理 —> 数据建模 —> 模型评估。
-
数据获取的方法有很多,例如网页抓取或者产品日志获取;
-
获取后存储的方式最常见的是把数据整理成表格的形式;
-
整理完之后,找出数据有哪些属性,属性之间是否有关系,是否能通过已有的属性,衍生出其他属性;(探索分析与可视化);
-
特征预处理:把脏数据去掉,把数据特征转化成模型使用的格式;
-
挖掘建模:涉及到分类模型,回归模型,聚类模型,关联模型,半监督模型,(本课程会介绍这些模型的算法和内涵,以及使用实例,模型的本质是一个函数)
-
模型评估;
用python做数据分析,有这几个数据分析包:NumPy、SciPy.org、matplotlib、scikit-learn、pandas