python实现简单爬虫_python实现简单爬虫

现在网上的资源特别丰富，尤其是如果在看到某些网站上的好看的图片就会想要保存下来，但是很麻烦需要的一个一个点击下载，可是如果我们用程序来处理的话，问题将会变得非常简单，只需要运行程序就可以拿到整个网页上的所有图片。

下面我们可以看一下怎样用python实现一个简单的获取网页图片的的爬虫小程序。

一、第一步，怎样获取到整个page？

getPage.py

import urllib

def getPage(url):

page = urllib.urlopen(url)

content = page.read()

return content

content = getPage("http://tieba.baidu.com/p/2510089409")

首先要导入urllib模块，此模块的作用是帮助我们通过url打开任意资源

urlopen(url, [,data])——根据url打开一个网页，根据参数区分post或者get

read()：读取整个页面所有信息

二、如何只获取到图片？

savePhotos.py

import urllib

import re

def getPage(url):

page = urllib.urlopen(url)

content = page.read()

return content

def getPhotos(content):

reg = r'src="(.+?\.jpg)" pic_ext'

imgre = re.compile(reg)

imglist = re.findall(imgre,content)

x = 0

for imgurl in imglist:

urllib.urlretrieve(imgurl,'./photos/%s.jpg' % x)

x+=1

content = getPage("http://tieba.baidu.com/p/2510089409")

print getPhotos(content)

正则表达式。这里我们用正则表达式来对获取到的网页信息进行过滤。

导入urllib和re模块

解析方法getPhotos.py中的语句

第一步：创建正则表达式的过滤规则；

第二步：编译正则表达式

第三步：将符合规则的文件即图片保存到imglist中

第四步：用urlretrieve()方法保存图片到本地。其中第二个参数设置保存文件位置。

这样就可以实现一个python的一个简单的获取网页图片的爬虫

爬到的图片 ，如下：