python爬取网页题库_用Python爬取本站离线题库

## 这是哪一题？

每当遇到一个新的题目，也许似曾相识、也许从未见过，无论什么情况，尤其在c语言网参加比赛时，为了更快的找到此题的原始题号，往往颇费周折：如果感觉这题做过，首先，根据新题的某些关键字，调用题库的“题目搜索”功能，希望关键字就在题目里，可惜大多数题目与内容的差别很大，常常找不到；于是，又要求助于搜索引擎，把站名、题目的来源、内容里的部分文字都一一罗列出来，才有可能让网络“猜”到这到底是哪一题，题目是什么？很不巧的是，搜索引擎对此也无能为力。

为了搜索到匹配信息，该怎么办呢，有办法，比如在每次做题的时候，伴随代码，把题目和内容也粘贴到代码文件里，在本地搜索就方便多了。

可是目前在本地都做了快2000题了，大部分代码文件都只能匹配题号，没有需求描述，如果不想重做这些题，该怎么找？难道要重新访问这2000个页面，把题目描述一个个地粘贴到代码文件中？不！这不是程序员的做法，真正的程序员可以让机器来完成，让爬虫来实现！

## 怎样获取离线题库

直接看代码：

```python

#!/usr/bin/env python3

# -*- coding: UTF-8 -*-

import os

import requests

url_prefix = "https://www.dotcpp.com/oj/problem"

<