这是一个示例爬虫代码,它使用了 Python 的 requests 库和 BeautifulSoup 库来爬取中国各大招标网站上关于海洋地质调查的项目信息,然后将项目招标信息和网页链接输出到新建的 csv 文件中:
import csv
import requestsfrom bs4 import BeautifulSoup
# 要爬取的招标网站 URL
url = 'https://www.bidding.gov.cn/'
# 请求网站 HTML
response = requests.get(url)
html = response.text
# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(html, 'html.parser')
# 查找所有包含海洋地质调查的项目信息的 div
project_divs = soup.find_all('div', class_='project-