以当当网为例 爬取各页面的列表图片
一:步骤分析
1.创建本地文件夹
2.获取网页初始页面并找到需要的图片地址
3.访问图片地址并下载储存到本地
二:网页分析
eg:
1.http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-1
2.http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-2
通过上面例子,我们发现区别主要在末尾的数字,因此我们可以通过该循环的次数,每次自动修改最后的数字,从而达到一键获取到多个页面的图片,并批量下载。
#首先导入我们需要用到的模块
import os
import shutil
import requests
import re
import urllib.request #如果开始不导入可以在需要用到的时候输入from urllib.request importurlretrieve
class Spider(): #创建一个类
def __init__(self): #初始化目录
if os.path.exists('D:/测试'+str(i