Python简单的爬虫。

Python爬虫是一种自动化的方式来从网站上提取信息。下面是一个简单的Python爬虫示例，使用requests库来发送 HTTP 请求和BeautifulSoup库来解析HTML文档。如果你还没有安装这些库，请先使用pip install requests beautifulsoup4命令进行安装。

import requests

from bs4 import BeautifulSoup

# 目标网页的 URL

url = 'http://example.com'

# 发送 GET 请求

response = requests.get(url)

# 确保请求成功

if response.status_code == 200:

    # 使用 BeautifulSoup 解析 HTML 内容

    soup = BeautifulSoup(response.text, 'html.parser')

       # 假设我们要提取所有的段落文本

    paragraphs = soup.find_all('p') 

    # 遍历并打印每个段落的文本

    for p in paragraphs:

        print(p.get_text())

else:

    print('Failed to retrieve the webpage')

# 请注意，这只是一个非常基础的示例。实际的爬虫可能需要处理更多复杂的情况，

# 如：请求头信息、Cookie、JavaScript渲染的内容、分页处理、反爬虫策略等。

这个示例代码做了以下几件事情：

1.导入所需的库。

2.定义目标网页的 URL。

3.使用  requests.get  发送 HTTP GET 请求。

4.检查响应状态码，确保请求成功。

5.使用  BeautifulSoup  解析 HTML 内容。

6.找到所有的  <p>  标签（即段落）。

7.遍历这些段落，并打印它们的文本内容。

请记得遵守目标网站的  robots.txt  文件规定，尊重版权和隐私政策，合法使用爬虫技术。此外，一些网站可能需要更高级的处理，例如登录、处理 JavaScript 动态内容等，这可能需要使用如 Selenium 等工具。