python操作手机京东_python爬取京东手机图片

关于爬取京东手机图片：之前一直使用python2加xpath来完成这个任务。本篇介绍如何使用python3加正则表达式来完成。使用的书籍《精通Python网络爬虫》中的案例代码不太适用了，在这里稍作改进。

首先来观察网站，进入京东首页，点击“手机/运营商/数码”中的手机，再点击“热门分类”中的“全部手机”。

(1)观察网址：点击下面的页数观察网址变化，可以得到有规律的网址“https://list.jd.com/list.html?cat=9987,653,655&page=1”。

(2)点击右键选择检查(我用的google浏览器)，观察手机部分的源代码，构造第一个正则表达式：part1='

'。(3)根据第一个正则表达式得到所有手机图片所在框架的源码，再构造第二个正则表达式：part2=' '。所有的图片链接都在得到的列表里面。

(4)在得到的列表里面进一步抽取图片的链接，即src中的内容。part3='//.+?\.jpg|//.+?\.png'。

可以根据page构造一个for循环选择要爬取的页面。

(5)代码可以成功运行，如有疑问请留言

import re

import urllib.request

def craw(url,page):

headers={

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"

}

req=urllib.request.Request(url,headers=headers)

html1=urllib.request.urlopen(req).read()

html1=str(html1)

#得到包含手机图片的网页框架源码

part1='

'

#result1=re.search(part1,html1)

result1=re.compile(part1).findall(html1)

result1=result1[0]

print(len(result1))

#先弄出来图片的位置

part2=''

#part2='//(.+?[\.jpg|\png])'

imglist=re.compile(part2).findall(result1)

#print(imglist[1])

#print(len(imglist))

#得到图片的链接

part3='//.+?\.jpg|//.+?\.png'

urllist=re.compile(part3).findall(str(imglist))

print(len(urllist))

x=1

print(urllist[1])

for imageurl in urllist:

imagename="E:/爬虫练习/pj1/文件/"+str(page)+str(x)+".jpg"

#在图片链接前面加上‘https：’

imageurl="https:"+imageurl

print(imageurl)

try:

#urllib.request.urlretrieve(imageurl,filename=imagename)

req=urllib.request.Request(imageurl,headers=headers)

res=urllib.request.urlopen(req).read()

with open(imagename,"wb")as f:

f.write(res)

except urllib.error.URLError as e:

if hasattr(e,"code"):

x+=1

if hasattr(e,"reason"):

x+=1

x+=1

for i in range(1,2):

url="https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)

craw(url,i)