爬取某学校教务处发布的含有申报的通知的正文、标题、日期、链接

最新推荐文章于 2024-04-12 20:32:02 发布

XQLR

最新推荐文章于 2024-04-12 20:32:02 发布

阅读量310

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/sgsdsdd/article/details/112793354

版权

本文介绍如何爬取某学校教务处发布的申报通知，包括通知的标题、日期、链接等内容，并通过生成的Excel文件进一步进行数据获取。

摘要由CSDN通过智能技术生成

一、首先爬取所有的申报通知的网址链接

import requests
import re
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as ec
import pandas as pd
from bs4 import BeautifulSoup
from selenium import webdriver
browser = webdriver.Chrome('E:/python/chromedriver.exe')
url = 'http://jgxy.jhc.cn/jxkysy/list.htm'
browser.get(url)
title = []
url = []
new_str1 = '申报'
new_str2 = '通知'
for i in rang