Python爬虫百度照片

爬虫小测试

1 urllib、re模块的使用

urllib这是读取文本页面数据的一个使用的接口

而re是正则表达式，在我们处理字符串的时候会用到

2 获取页面的数据

定义getHtml函数，使用urlopen函数打开url地址，再使用read方法进行读取，然后就行返回

3 对返回数据的处理

将函数返回的页面的字符串进行处理，将图片的连接提取出来，类似与这样

4对图片进行下载

使用re的findall，将所有包含图片的字符串数据进行保存

5图片的保存

使用urllib.retrieve()方法，直接将远程数据下载到本地。默认保存到程序的存放目录

代码如下

#coding=utf-8
import urllib #Urllib 模块提供了读取web页面数据的接口
import re #re模块主要包含了正则表达式

def getHtml(url):
    page = urllib.urlopen(url) #urllib.urlopen()方法用于打开一个URL地址。
    html = page.read() #read()方法用于读取URL上的数据
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)#re.compile() 可以把正则表达式编译成一个正则表达式对象.
    imglist = re.findall(imgre,html)#re.findall() 方法读取html 中包含 imgre（正则表达式）的数据。
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)#这里的核心是用到了urllib.retrieve()方法，直接将远程数据下载到本地。
        x+=1#保存的位置默认为程序的存放目录。命名规则通过x变量加1


html = getHtml("http://tieba.baidu.com/p/2460150866")#

print getImg(html)