实践项目九：抓取慕课网网页的图片到本地

今天在慕课网学习正则表达式，后面有一个小例子，简单的爬虫，抓取网页中的图片到本地。
这个小例子十分简单，记录一下我遇到的问题。

思路：

• 1.抓取网页。
• 2.获取图片地址。
• 3.抓取图片内容并保存在本地。
  第一步可以用urllib2模块实现，第三步保存在本地也很简单。下面重点说获取图片地址。

获取图片地址

现在的url比视频的中的有点区别,在网页中看一下图片的url信息：

你会发现1和2是同一个url，如果使用原来的正则表达式：
listurl =re.findall(r'http:.+\.jpg',buf)
匹配的结果如下面的红线所示：

原因是因为匹配任意知道最后一个以jpg结束，这个就不能直接获取图片的url，下面是我解决的思路：
首先用
listurl = re.findall(r'src=.+\.jpg',buf)
返回的是匹配好的带有src的url列表，然后遍历列表中的每一个url在用一次正则表达式
a= re.findall(r'http:.+\.jpg',url)
此时返回的每一个列表只有一个url，提取url保存在res列表中。

完整代码：

# -*- coding:utf-8 -*-
import re, urllib2

request = urllib2.urlopen('http://www.imooc.com/course/list')
buf = request.read()
listurl = re.findall(r'src=.+\.jpg',buf)
#listurl = re.findall(r'http:.+\.jpg',buf)
#print listurl

res=[]
for url in listurl:
    a= re.findall(r'http:.+\.jpg',url)
    res.append(a[0])

for url in res:
    print url
index = 0
for url in res:
    f = open(str(index)+'.jpg', 'wb')
    request = urllib2.urlopen(url)
    buf = request.read()
    f.write(buf)
    index = index + 1
#记得关闭文件
f.close()

运行结果

此时在本地可以看到保存的图片：

总结

例子虽然简单，算是我第一次学习爬取照片，这个例子侧重用正则表达式的使用，纪念一下。
Github项目链接：https://github.com/xuna123/Python_pro/releases