python数据采集 爬虫_python爬虫数据采集

近几年来，python的热度一直特别火！大学期间，也进行了一番深入学习，毕业后也曾试图把python作为自己的职业方向，虽然没有如愿成为一名python工程师，但掌握了python，也让我现如今的工作开展和职业发展更加得心应手。这篇文章主要与大家分享一下自己在python爬虫方面的收获与见解。

python爬虫是大家最为熟悉的一种python应用途径，由于python具有丰富的第三方开发库，所以它可以开展很多工作：比如 web开发(django)、应用程序开发(tkinter、wxpython、qt)、数据统计与计算(numpy)、图形图像处理、深度学习、人工智能等。平时自己使用最多的是python爬虫(结合tkinter，开发爬虫应用程序)和使用django开发一些小型个人网站，django框架可以自动根据实体类生成管理端，极大的提升了系统的开发效率，有兴趣的朋友可以尝试一下。

一个成功的爬虫需要对应一个标准化的网站，爬虫主要是为了方便我们获取数据，如果目标系统开发不规范，无规则，很难用爬虫定制一套规则去爬取，并且爬虫基本是定制化的，对于不同的系统需要去调整。

爬虫爬取数据的第一步必须分析目标网站的技术以及网站数据结构(通过前端源码)，可借助chrome浏览器，目前python爬虫主要会面对一下三种网站：

1. 前后端分离网站

前端通过传递参数访问接口，后端返回json数据，对于此类网站，python可模拟浏览器前端，发送参数然后接收数据，便完成了爬虫数据的目标

2. 静态网站

通过python的第三方库(requests、urllib)，下载源码，通过xpa