一个爬取网站信息的爬虫

请注意，这个示例仅适用于简单的网页结构。对于更复杂的网站，你可能需要使用更高级的方法，如递归爬取、处理JavaScript渲染的页面等。在进行爬虫开发时，请确保遵守网站的robots.txt规则，遵循合适的请求速率限制，以免对目标服务器造成过大压力首先，确保你已经安装了requests库。如果没有安装，可以通过以下命令安装：

pip install requests
接下来，创建一个名为web_crawler.py的Python文件，并在其中编写以下代码：

import requests
from bs4 import BeautifulSoup

def get_page(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
print(“Error:”, response.status_code)
return None
except Exception as e:
print(“Error:”, e)
return None

def parse_page(html):
soup = BeautifulSoup(html, “html.parser”)
titles = soup.find_all(“h2”) # 根据网页结构选择合适的标签
for title in titles:
print(title.get_text())

def main():
url = “https://example.com” # 替换为你想爬取的网站
html = get_page(url)
if html:
parse_page(html)

if name == “main”:
main()`