制作文本爬虫

制作文本爬虫

目标网站:http://www.jikexueyuan.com/

目标内容:课程图片

实现原理:

1.保存网页源代码

2.Python读文件加载源代码

3.正则表达式提取图片网址

4.下载图片

#-*-coding:utf-8-*-

import re
import requests

#读入源代码文件
f=open('source.html','r')
html=f.read()
f.close()

#匹配图片地址
pic_url=re.findall('img src="(.*?)" class="lessonimg"',html,re.S)
i=0
for each in pic_url:
    print 'now downloading:'+each
    pic=requests.get(each)
    fp=open('pic\\'+str(i)+'.jpg','wb')
    fp.write(pic.content)
    fp.close()
    i+=1