用爬虫爬取zzulioj网站,菜鸟入营

# -*- codeing = utf-8 -*-
# @Time : 2021/1/18 22:05
# @file spider2.py
# @Software:PyCharm
from bs4 import BeautifulSoup     #网页解析获取数据
import re      #正则表达式-进行文字匹配
import urllib.request,urllib.error  #制定URL-获取网页数据
import xlwt    #进行excel操作
import sqlite3 #进行SQL数据库操作

def main():
    baseurl = "http://acm.zzuli.edu.cn/problemset.php?page="
    #1.爬取网页
    datalist = getData(baseurl)
    savepath = ""
    #2.解析数据
    #3.保存数据
    saveData=".\\zzulioj题库.xls"
    askURL("http://acm.zzuli.edu.cn/problemset.php?page=")

#爬取网页
def getData(baseurl):
    datalist=[]
    for i in range(1,10):
        url=baseurl+str(i*25)          #调用获取页面信息10次
        html = askURL(url)             #保存获取到的网页源码
    #逐一解析数据
    return datalist

#得到一个指定url的网页内容

def saveData(savepath):
    print("")
def askURL(url):
    head={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36 Edg/87.0.664.75"
    }
    #用户代理，告诉服务器，我们是什么类型的机器，（本质上是告知服务器我们能接受什么水平的信息）
    request = urllib.request.Request(url,headers=head)
    html = ""
    try:
        response =urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        elif hasattr(e,"reason"):
            print(e.reason)
    return html
if __name__ =="__main__":
    main()