使用 Python3 抓取网页的简单范例

以抓取百度首页，并提取页面的标题为例，示范如何抓取一个网页并处理其中的数据。

我的目标是抓取自己喜欢的百度小说类贴吧中的更新帖。由于对 Python 和 网络爬虫都不怎么熟悉，所以先抓取百度首页试一下手。

Python 版本：3.4.3

网络爬虫的组成

一个网络爬虫程序应该由三部分组成：
* 网页抓取：人工输入首页地址
* 网页分析与内容提取：
* 提取新的 url：由于我的目标是抓取百度贴吧的小说内容，所以这部分主要是识别哪个帖子是更新帖，本文不涉及。
* 提取所需内容：提取主楼小说内容，本文不涉及
* 内容保存：保存成 txt 文档，既方便追小说，也方便处理。

网页抓取

抓取网页的代码很简单，但是如果调用了print()函数，然后在 Win7 的命令行窗口调试的话，会出现各种令人烦躁的字符编解码错误。当然可以将数据编码为gb18030以便 Win7 命令行能够识别。但我觉得更好的解决方法是在IDLE中调试，或者使用utf-8编码将数据保存成文件后查看文件。

def catchUrl(url):
    mUrl = url
    # data 是使用 utf-8 解码后的字符串
    data = urllib.request.urlopen(mUrl, timeout = 2).read().decode('utf-8')
    # data 是网页的二进制源码，如果要保持最大的灵活性，这里可以选择保存二进制
    # data = urllib.request.urlopen(mUrl, timeout = 2).read()
    return data

内容提取

这里仅仅是提取百度首页的标题。

def getTitle(data):
    pattern = re.compile('<title>(.*?)</title>')
    for x in pattern.findall(data):
        # 这里只返回匹配到的第一个数据
        return x

文件保存

将传过来的内容按照utf-8编码保存

def saveFile(data, file = './example.txt'):
    save_path = file
    f_obj = open(save_path, 'w', encoding="UTF-8")
    # f_obj = open(save_path, 'wb') # 保存二进制文件时不用指定文件编码
    f_obj.write(data)
    f_obj.close()

主程序

data = catchUrl("http://www.baidu.com/")    
data = getTitle(data)
saveFile(data, './result.txt')

分析结果保存在当前目录的 result.txt 文件中。完整程序参见我的 Github

其它

参考

• 零基础自学用Python 3开发网络爬虫
• Python 入门指南

更新记录

2015-04-12 初稿

版权信息

自由转载-非商用-非衍生-保持署名（知识共享 Attribution-NonCommercial-NoDerivatives 4.0 国际许可协议）