python数据分析之数据分析（步骤）流程

一：数据抽取

  从外部源数据中获取数据

  保存为各种格式的文件、数据库等

  使用Scrapy爬虫等技术

二：数据加载

  从数据库、文件中提取数据，变成DataFrame对象

  pandas库的文件读取方法 

三：数据处理

数据准备：

  对DataFrame对象（多个）进行组装、合并等操作

  pandas库的操作

数据转化：

  类型转化、分类（面元等）、异常值检测、过滤等

  pandas库的操作

数据聚合：

  分组（分类）、函数处理、合并成新的对象

  pandas库的操作

四：数据可视化

  将pandas的数据结构转化为图表的形式

  matplotlib库

五：预测模型的创建和评估

  数据挖掘的各种算法：

  关联规则挖掘、回归分析、聚类、分类、时序挖掘、序列模式挖掘等

六：部署（得出结果）

  从模型和评估中获得知识

  知识的表示形式：规则、决策树、知识基、网络权值