python爬虫实例

本文用一个简单的例子说明如何用python进行爬虫。

• python 2.7.5
• Ubuntu 14.04

所需的python库

• urllib：用来抓取和解析网页
• re：处理正则表达式

代码块

• 下面的例子是用python爬虫获取某网页的图片，并保存到本地

import urllib
import re
import os

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)
    imglist = re.findall(imgre, html)

    # save the pics to a new folder.
    os.mkdir('pics')
    local = os.getcwd() + '/pics/'
    x = 0

    for imgurl in imglist:
        urllib.urlretrieve(imgurl, local + '%s.jpg' % x)
        x += 1

html = getHtml("http://tieba.baidu.com/p/2460150866")

print getImg(html)

• 对正则表达式不熟悉的话可以学习一下相关知识
• 运行该程序后会在pics目录下看到下载好的jpg图片

源文件在这里

• python爬虫的功能很强大，可以根据所需信息的不同对正则表达式进行修改
• 对爬取的数据可以依据数据挖掘的方式进行处理
• 源文件