深大内部网投诉建议爬取

最新推荐文章于 2024-10-02 10:53:34 发布

chenzhuang1234

最新推荐文章于 2024-10-02 10:53:34 发布

阅读量290

点赞数

文章标签： python 爬虫

本文链接：https://blog.csdn.net/chenzhuang1234/article/details/119251865

版权

本文介绍了一次针对深大内部网投诉和建议数据的爬取过程，利用Python爬虫技术抓取了相关信息，详细阐述了爬取策略、网页解析以及数据存储的方法，旨在探讨网络数据获取与分析的基础技巧。

摘要由CSDN通过智能技术生成

from bs4 import BeautifulSoup
import re
import urllib.request,urllib.error #指定URL，获取网页数据
import xlwt

findnum = re.compile(r'<td align=.*>(\d*?)</td>')
finddate = re.compile(r'<td style="font-size: 9pt" width="85">(.*?)</td>')
findname = re.compile((r'<td align="center" style="font-size: 9pt">(.*?)</td>'))
findtitle = re.compile(r'</b>(.*?)</a></td>')
findhref =re.compile(r'<a class="fontcolor3" href="(.*?)"_blank"><b>')

def main():
    baseurl = "https://www1.szu.edu.cn/mailbox/list.asp?page={}&leader=%CE%CA%CC%E2%CD%B6%CB%DF&tag="
    datalist = getData(baseurl)
    savepath = ".\\内部网投诉建议.xls"
    saveData(datalist,savepath)
    #askURL("https://www1.szu.edu.cn/mailbox/list.asp?page=1