爬虫爬取学习通知信息

一、爬虫简介

1 .介绍

（1）网络爬虫英文名叫Web Crawler或Web Spider。它是一种自动浏览网页并采集所需要信息的程序。
（2）爬虫从初始网页的URL开始, 获取初始网页上的URL，在抓取网页的过程中，不断从当前页面抽取新的url放入队列。直到满足系统给定的停止条件才停止。
（3）可以为搜素引擎从互联网中下载网页数据，是搜素引擎的重要组成部分。

2.爬虫工作过程

(1)URL管理模块：发起请求。一般是通过HTTP库，对目标站点进行请求。等同于自己打开浏览器，输入网址。
(2)下载模块：获取响应内容（response）。如果请求的内容存在于服务器上，那么服务器会返回请求的内容，一般为：HTML，二进制文件（视频，音频），文档，Json字符串等。
(3)解析模块：解析内容。对于用户而言，就是寻找自己需要的信息。对于Python爬虫而言，就是利用正则表达式或者其他库提取目标信息。
(4)存储模块：保存数据。解析得到的数据可以多种形式，如文本，音频，视频保存在本地。

二、爬取南阳理工学院ACM题目网站

1.打开网页http://www.51mxd.cn/problemset.php-page=1.htm，查看页面源代码，可以要看到我们要爬取的信息都在TD这个标签内
2.新建文件，写入代码

import requests# 导入网页请求库
from bs4 import BeautifulSoup# 导入网页解析库
import csv
from tqdm import tqdm

# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

# 题目数据
subjects = []

# 爬取题目
print('题目信息爬取中：\n')
for pages in tqdm(range(1, 11 + 1)):
    # 传入URL
    r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers