Python爬虫——使用requests和beautifulsoup4库来爬取指定网页的信息

• 以下是一个简单的Python代码，使用requests和beautifulsoup4库来爬取指定网页的信息：

import requests
from bs4 import BeautifulSoup

url = "https://example.com"

# 发送GET请求，获取网页内容
response = requests.get(url)

# 将网页内容转化为BeautifulSoup对象，方便解析
soup = BeautifulSoup(response.content, "html.parser")

# 找到所有<a>标签，打印出它们的文本内容和链接
for link in soup.find_all("a"):
    print(link.text.strip(), link.get("href"))

• 代码解释：

1. 首先导入了requests和beautifulsoup4库，用于向网站发送请求并解析网页内容。

2. 定义了要爬取的网页的URL地址。

3. 使用requests.get()方法向指定的URL发送GET请求，并将返回的响应对象赋值给变量response。

4. 将response.content属性的内容传递给BeautifulSoup构造函数，创建一个soup对象。第二个参数"html.parser"指定使用Python内置的HTML解析器来解析网页内容。

5. 使用soup.find_all("a")方法找到所有<a>标签，返回一个ResultSet对象，其中包含所有匹配的标签。

6. 对于每个匹配的标签，使用.text属性获取其文本内容，并使用.get("href")方法获取其链接。

7. 最后，将标签的文本内容和链接打印出来。.strip()方法用于去除文本内容中的空格和换行符。

需要注意的是，网站所有者可能对爬虫进行限制，需要遵守网站的规定并进行适当的处理。例如，可以在请求中包含User-Agent头来模拟浏览器访问，以避免被认为是机器人并被拒绝访问。