文章目录
一、初识网络爬虫
1.1 网络爬虫定义
网络爬虫英文名叫Web Crawler或Web Spider,是一种自动浏览网页并采集所需要信息的程序
1.每个节点都是一个网页
2.每条边都是一个超链接
3.网络爬虫就是从这样一个网络图中抓取感兴趣的内容
1.2 爬虫原理
- 爬虫从初始网页的URL开始, 获取初始网页上的URL
- 在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列
- 直到满足系统给定的停止条件
1.3 爬虫工作的过程
- URL管理模块:发起请求。一般是通过HTTP库,对目标站点进行请求。等同于自己打开浏览器,输入网址
- 下载模块:获取响应内容(response)。如果请求的内容存在于服务器上,那么服务器会返回请求的内容,一般为:HTML,二进制文件(视频,音频),文档,Json字符串等
- 解析模块:解析内容。对于用户而言,就是寻找自己需要的信息。对于Python爬虫而言,就是利用正则表达式或者其他库提取目标信息
- 存储模块:保存数据。解析得到的数据可以多种形式,如文本,音频,视频保存在本地
网络爬虫具体详情参考:什么是网络爬虫?有什么用?怎么爬?终于有人讲明白了
二、示例一
爬取南阳理工学院ACM题目网站http://www.51mxd.cn/ 练习题目数据的抓取和保存
编程工具:vscode
运行环境:Python3.8
2.1 需要的内置库以及第三方库
2.2 具体代码
- 导入库(本次调用了 requests网页请求库和Beautiful Soup网页解析库)
import requests #导入网页请求库
from bs4 import BeautifulSoup #导入网页解析库
import csv
from tqdm import tqdm #Tqdm 是一个快速,可扩展的Python进度条
完整代码:
import requests #导入网页请求库
from bs4 import BeautifulSoup #导入网页解析库
import csv
from tqdm import tqdm #Tqdm 是一个快速,可扩展的Python进度条
#模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
#表头
csvHeaders = ['题号','难度','标题','通过率','通过数/总提交数']
#题目数据
subjects = [];
#爬取题目
print('题目信息爬取中:\n')
for pages