关于爬取京东手机图片:之前一直使用python2加xpath来完成这个任务。本篇介绍如何使用python3加正则表达式来完成。使用的书籍《精通Python网络爬虫》中的案例代码不太适用了,在这里稍作改进。
首先来观察网站,进入京东首页,点击“手机/运营商/数码”中的手机,再点击“热门分类”中的“全部手机”。
(1)观察网址:点击下面的页数观察网址变化,可以得到有规律的网址“https://list.jd.com/list.html?cat=9987,653,655&page=1”。
(2)点击右键选择检查(我用的google浏览器),观察手机部分的源代码,构造第一个正则表达式:part1='
(4)在得到的列表里面进一步抽取图片的链接,即src中的内容。part3='//.+?\.jpg|//.+?\.png'。
可以根据page构造一个for循环选择要爬取的页面。
(5)代码可以成功运行,如有疑问请留言
import re
import urllib.request
def craw(url,page):
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
}
req=urllib.request.Request(url,headers=headers)
html1=urllib.request.urlopen(req).read()
html1=str(html1)
#得到包含手机图片的网页框架源码
part1='
#result1=re.search(part1,html1)
result1=re.compile(part1).findall(html1)
result1=result1[0]
print(len(result1))
#先弄出来图片的位置
part2=''
#part2='//(.+?[\.jpg|\png])'
imglist=re.compile(part2).findall(result1)
#print(imglist[1])
#print(len(imglist))
#得到图片的链接
part3='//.+?\.jpg|//.+?\.png'
urllist=re.compile(part3).findall(str(imglist))
print(len(urllist))
x=1
print(urllist[1])
for imageurl in urllist:
imagename="E:/爬虫练习/pj1/文件/"+str(page)+str(x)+".jpg"
#在图片链接前面加上‘https:’
imageurl="https:"+imageurl
print(imageurl)
try:
#urllib.request.urlretrieve(imageurl,filename=imagename)
req=urllib.request.Request(imageurl,headers=headers)
res=urllib.request.urlopen(req).read()
with open(imagename,"wb")as f:
f.write(res)
except urllib.error.URLError as e:
if hasattr(e,"code"):
x+=1
if hasattr(e,"reason"):
x+=1
x+=1
for i in range(1,2):
url="https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)
craw(url,i)