网络爬虫之入门练习【网络通信编程】

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。

一、爬取南阳理工学院ACM题目网站的信息

1.代码

import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'

csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']

subjects = []

print('题目信息爬取中：\n')

for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(
        f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

    r.raise_for_status()

    r.encoding = 'utf-8'

    soup = BeautifulSoup(r.text, 'lxml')

    td = soup.find_all('td')

    subject = []

    for t in td:
        if t.string is not None:
            subject.append(t.string)
            if len(subject) == 5:
                subjects.append(subject)
                subject = []

with open('NYOJ_Subjects.csv', 'w', newline='') as file:
    fileWriter = csv.writer(file)
    fileWriter.writerow(csvHeaders)
    fileWriter.writerows(subjects)

print('\n题目信息爬取完成！！！')

2.网页分析

• 打开待爬取的网页
  我们点击切换不同的页面，发现url（http://www.51mxd.cn/problemset.php-page=n.htm）里面的参数n.htm这一部分，只需要改变n的值就可以切换页数
  所以代码中：

for pages in tqdm(range(1, 11 + 1)):

    r = requests.get(
        f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)

这里设置一个循环，爬取11页的数据
get方法里面的字符串是要要爬取的网页的url，其中变量pages从1循环加到11

选择我们想爬取的数据，右键检查
然后就能看到这是一个单元格标签：td，跟其他几个属性（题号 难度 标题 通过率 ）一样，同在一个table标签中

3.运行程序爬取文件

找到生成的NYOJ_Subjects.csv文件

OK，爬取成功

二、爬取重庆交通大学新闻网站的信息

1.代码

代码源自：Max_Shy【网络爬虫】网络爬虫之入门练习

import requests
from bs4 import BeautifulSoup
import csv

def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
    }
    try:
        info_list_page = []
        resp = requests.get(url, headers=headers)
        resp.encoding = resp.status_code
        page_text = resp.text
        soup = BeautifulSoup(page_text, 'lxml')
        li_list = soup.select('.left-list > ul > li')
        for li in li_list:
            divs = li.select('div')
            date = divs[0].string.strip()
            title = divs[1].a.string
            info = [date, title]
            info_list_page.append(info)
    except Exception as e:
        print('爬取' + url + '错误')
        print(e)
        return None
    else:
        resp.close()
    print('爬取' + url + '成功')
    return info_list_page

def main():

    info_list_all = []
    base_url = 'http://news.cqjtu.edu.cn/xxtz/'
    for i in range(1, 67):
        if i == 1:
            url = 'http://news.cqjtu.edu.cn/xxtz.htm'
        else:
            url = base_url + str(67 - i) + '.htm'
        info_list_page = get_one_page(url)
        info_list_all += info_list_page

    with open('教务新闻.csv', 'w', newline='', encoding='utf-8') as file:
        fileWriter = csv.writer(file)
        fileWriter.writerow(['日期', '标题'])
        fileWriter.writerows(info_list_all)

if __name__ == '__main__':
    main()

2.网页分析

打开重庆交通大学新闻网站
切换页数，我们发现第一页的url是http://news.cqjtu.edu.cn/xxtz.htm
第二页的url是http://news.cqjtu.edu.cn/xxtz/65.htm
第三页的url是http://news.cqjtu.edu.cn/xxtz/64.htm
以此类推除开第一页，第n页的url为

http://news.cqjtu.edu.cn/xxtz/(67-n).htm

查看我们要爬取内容的网页标签，这里先看时间，发现时间模块是在一个div标签下的
再来看新闻标题，原来时间和新闻标题都是在一个ul无序列表标签里面
所以在get_one_page(url)这个函数里面的此部分代码用来获取时间和新闻标题

 li_list = soup.select('.left-list > ul > li')
        for li in li_list:
            divs = li.select('div')
            date = divs[0].string.strip()
            title = divs[1].a.string
            info = [date, title]
            info_list_page.append(info)

3.运行程序爬取文件

找到生成的教务新闻.csv文件

OK，爬取成功

三、总结

我们使用的IDE是PyCharm，编写python程序十分方便，导入库大概有几种方式
①在代码界面点击报错的引入包代码，例如import dlib，界面会弹出提示安装包
②在setting界面搜索需要的包手动添加
③在IDE里面打开终端Terminal，手动输入pip install +需要安装的库
总之，使用PyCharm十分方便

四、参考文献

1.Max_Shy【网络爬虫】网络爬虫之入门练习