网络爬虫入门篇

1、爬虫是什么&概念&用途

爬虫就是“自动化”，”批量“的爬取网页的资源（如数据，图片，音频，视频等等），能够帮助我们收集很多有价值的数据和网页资源，被广泛运用在人工智能训练模型的数据爬取、大数据分析前的数据累积、商业数据价值的挖掘、搜索引擎（如百度，谷歌）、各种需要数据的采集业务，也因此诞生了很多工作岗位，和外包项目，成为了很多想要高薪就业和副业的必学技术之一。

2、爬虫的通用实现思路

2.1、构造请求，获取网页服务器的响应资源

既然是要爬取网页的资源，那么我们就得和网页后面的服务器进行一定的交互，以达到我们获取网页资源的目的，那么第一步就是，构造请求，得到网页服务器的响应。通常我们会使用urllib、requests、scrapy来帮助我们完成请求操作。

2.2、提取数据，拿到我们所需求的网页资源

请求得到的响应资源，多且复杂，我们所需要得到的其实只有一小部分，所以我们要对前面得到的网页资源，数据进行一定的筛选，提取。通常我们会使用到xpath，正则表达式，css选择器，bs4等方法和python模块进行筛选提取操作。

2.3、保存数据，将数据持久化保存

前面提取到的数据仅仅是在内存，我们会需要将它们持久化存储，或是保存至txt文本文件，或是保存至execl数据表、各种数据库等等，可根据个人需求进行持久化保存。