以下是一个使用requests和BeautifulSoup库的例子,用于获取某个网站上的文章标题和链接:
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com' # 将example.com替换为你想要爬取的网站的URL
# 发送GET请求
response = requests.get(url)
# 解析HTML
soup = BeautifulSoup(response.content, 'html.parser')
# 找到所有的文章标题和链接
articles = soup.find_all('a', class_='article-title')
# 打印每篇文章的标题和链接
for article in articles:
print(article.text)
print(article['href'])
需要安装requests和beautifulsoup4库才能运行此代码。你可以使用以下命令安装这两个库:
pip install requests beautifulsoup4
请注意:无论如何都请遵守国家相关条款和法律法规。