python-之数据分析的流程-2

数据分析流程

1，数据获取
2，数据存储
3，数据预处理
4，建模与分析
5，可视化分析

一，数据获取

数据来源
1，数据库
各公司都会有自己的数据库，可以通过SQL查询语句来获取数据库中想要数据；
Python已经具有连接sql server、mysql、orcale等主流数据库的接口包，比如pymssql、pymysql、cx_Oracle等

这里整理Mysql详细资料和python与mysql交互
https://blog.csdn.net/weixin_42914706/article/details/111658640

2，获取国内一些网站上公开的数据资料或通过编写爬虫代码自动爬取数据
Python工具：
Requests-主要用于爬取数据时发出请求操作。
BeautifulSoup-用于爬取数据时读取XML和HTML类型的数据，解析为对象进而处理。
Scapy-一个处理交互式数据的包，可以解码大部分网络协议的数据包
3，通过工具抓取数据

二，数据存储

原始数据
1，csv，txt，excel&