2021年第一份教程:网页数据爬虫抓包入门教程中

网页数据抓包入门教程中

前面我们简单的了解了一个页面的构成，知道了一个网页基本的构成方式，接下来我们进行二阶段学习，数据的抓取

2.1 在此之前，我们需要了解一个爬虫协议，通过查看爬虫协议，我们能了解到这个网站哪些人可以爬，哪些数据可以爬，在主站网址后面加/robots.txt就可以查看网站的爬虫协议，例如：我们输入http://baidu.com/robots.txt,拿到百度的爬虫协议，每组列表第一个为爬虫名(用户名），后面Disallow跟的表示这些文件路径不能爬。

2.2爬虫代码学习：

首先在电脑安装requests的库，控制台输入pip install requests，自动完成安装，这个requests的库里有一个get的方法，可以获取一个指定页面的响应内容，

我们编写爬虫，一般三步走

一，找文件，点开浏览器，找到开发者工具，查看网页源代码，找到我想要的数据位置

二，程序拿页面

三，解析

首先，我们利用开发者工具发现我们想要的内容在网页的那个位置下以后，就可以对网页发出请求，拿到页面响应的内容；在开发者工具里找到User-Agent与Cookie备用

导入requests库

import requests #导入库

resp = requests.get(url='https://www.uisdc.com/',
				  headers={
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/53