爬虫练习：南阳理工学院ACM题目信息

南阳理工学院ACM题目信息

• 获取源码
• • 1.引入第三方库
  • 2.模拟浏览器
  • 3.抓取网页
• BeautifulSoup网页分析
• • 1.初始化
  • 2.抓取节点
• 保存文件
• 完整源码

获取源码

我们知道浏览器查看网页时首先会发送一个请求request给服务器, 服务器根据request请求做一些处理生成一个响应response返回给浏览器, 而这个response中就包含着我们需要的网页(或者数据, 一般静态网站或者服务器端渲染是直接返回网页), 那么我们要下载网页也就只需要模仿浏览器发送这个request给服务器, 然后等着服务器发回response就行.

1.引入第三方库

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

2.模拟浏览器

Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

3.抓取网页

    r = requests.get(
        f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status()

    r.encoding = 'utf-8'

BeautifulSoup网页分析

学了requests，了解了伪装技巧后，终于能爬到些比较正常的网页源码（html文档）了，但这离结果还差最后和是最重要的一步——筛选。这个过程就像在泥沙中淘金一样，没有合适的筛子，你就会把有价值的漏掉了，或者做了无用功把没用的也筛了出来。
淘金者看土质，做筛子。对应到爬虫领域就是观察html，定制筛选器。在这里其实就是简单的抓取td标签

1.初始化

    soup = BeautifulSoup(r.text, 'html.parser')

2.抓取节点

    td = soup.find_all('td')
    subject = []
    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

保存文件

with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

完整源码

网址链接中.htm前数字与有关，所以可以可以通过一个循环爬取多页代码，找到爬取数据位置后，写代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

subjects = []

for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(
        f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status()

    r.encoding = 'utf-8'

    soup = BeautifulSoup(r.text, 'html.parser')

    td = soup.find_all('td')

    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

运行结果：