Python爬虫学习：二、爬虫的初步尝试

当您开始学习Python爬虫时，一个很好的起点是编写一个简单的脚本来抓取指定的网页。下面是一个使用Python的requests库来抓取网页的示例代码，以及对该代码的具体作用的分析。

示例代码

import requests  
  
def fetch_webpage(url):  
    try:  
        # 发起GET请求  
        response = requests.get(url)  
          
        # 检查请求是否成功（状态码为200）  
        if response.status_code == 200:  
            # 返回网页内容  
            return response.text  
        else:  
            # 请求失败，打印错误信息  
            print(f"Failed to fetch the webpage. Status code: {response.status_code}")  
            return None  
    except requests.RequestException as e:  
        # 请求过程中发生异常，打印错误信息  
        print(f"An error occurred: {e}")  
        return None  
  
# 使用示例  
url = 'http://example.com'  # 替换为您想要抓取的网页URL  
html_content = fetch_webpage(url)  
if html_content:  
    print("Webpage fetched successfully!")  
    # 这里可以将html_content保存到文件或进行进一步的分析  
else:  
    print("Failed to fetch the webpage.")

代码作用分析

1. 导入必要的库：首先，我们导入了requests库，这是Python中非常流行的HTTP客户端库，用于发送HTTP请求。

2. 定义函数fetch_webpage：这个函数接受一个URL作为参数，并尝试获取该URL对应的网页内容。

3. 发起GET请求：使用requests.get(url)发起一个GET请求到指定的URL。requests.get()返回一个Response对象，该对象包含了服务器的响应内容和其他信息。

4. 检查请求状态：通过response.status_code检查请求是否成功。HTTP状态码200表示请求成功，服务器返回了期望的结果。

5. 处理响应内容：如果请求成功，函数返回响应的文本内容（HTML、XML等），通常使用response.text获取。如果请求失败（状态码不是200），或者发生异常（如网络连接问题、DNS解析失败等），则打印错误信息并返回None。

6. 使用示例：在代码的最后部分，我们定义了一个URL（这里使用了http://example.com作为示例，您应该替换为您想要抓取的网页URL），并调用fetch_webpage函数来获取网页内容。然后，我们检查返回的内容是否为空，如果不为空，则打印一条成功消息，并可以选择将内容保存到文件或进行进一步的分析。如果返回的内容为空，则打印一条失败消息。

这个示例代码是一个简单的爬虫脚本的起点，您可以在此基础上添加更多的功能，如解析HTML内容、处理JavaScript动态加载的内容、使用代理IP等。同时，也请注意遵守网站的robots.txt协议和相关的法律法规，不要对网站造成过大的负担或进行恶意爬取。

转载时请注明出处！