这个是爬虫的入门,因此没有用到深度优先和广度优先算法,只是简单的抓取一个页面上的所有图片
思路:
1.首要步骤就是要知道这个网页的网址和这个网页的html代码,你可以在firefox、chrome中使用开发者工具或者鼠标右键选择审查元素查看代码
2.查看你要找的图片的格式,使用正则表达式表达出来,然后开始写代码
其中的dir你可以根据你的需要来自己设置
# -*- coding: utf-8 -*-
# @Author:
# @Date:
# @Last Modified by:
# @Last Modified time:
# coding=utf-8
import urllib.request,re
response = urllib.request.urlopen('http://www.imooc.com/course/list')
html = response.read().decode('utf-8')
print(html)
listurl = re.findall(r'src=.+\.jpg', html)
listurls = []
for each in listurl:
listurls.append('http:' + each[5:])
print(listurls)
i = 0
for url in listurls:
response = urllib.request.urlopen(url)
image = response.read()
dir = 'D:\\编程代码集合\\Python程序代码\\网络爬虫\\image\\' + str(i) + '.jpg'
f = open(dir, 'wb')
f.write(image)
i += 1