看视频教程写爬虫,贴一下我写的代码
#!/usr/bin/python
#coding utf-8
import re
import urllib
def gethtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getjpg(html):
rule = r'src="(http://imgsr.bai.com/forum/.*?\.jpg)" pic_ext='
jpgurl = re.findall(rule,html)
return jpgurl
url = 'http://tieba.baidu.com/p/2738151262?see_lz=1'
html = gethtml(url)
print getjpg(html)
可是打印出来的是一个空的列表
$ python getjpg.py
[]
这个绝对是正则表达式的问题,于是我把换我的正则表达式
rule = r'src="(.*?\.jpg)" pic_ext='
可是,这样的得到的是好多,好乱,肯定还不对. 如图:
刚开始猜测是因为正则表达式会匹配最长的字符,可是用 *?或+? 时表示尽可少的重复.
看网页源代码,我觉得我里最后的答案又接近了一步.
那我接下来继续改进正则表达式.
rule = r'src="(http://imgsrc.+?\.jpg)" pic_ext='
这样就好了.接下来添加下载及重命名部分.
x =0
for download in jpgurl:
urllib.urlretrieve(download,'%s.jpg' %x)
x+=1
结果如下: