python爬虫简单应用-----爬取煎蛋网随手拍图片下载到本地

爬取图片比较简单，煎蛋网也没有什么反爬虫措施，在爬取的过程中发现的唯一一个反爬就是图片的地址是用bas464加密的，并且在页面中是隐藏的，如下图1，虽然页面可以看到图片链接，但是实际获取到到的却是是图2中这样的：


打印源码发现图片链接后面还有一串编码,img链接是无效的，需要用到的是后面加密的编码：

通过base64解码可以得到

加密的地址可以通过xpath获取到：xpath(’//li/div/div/div[2]/p/span/text()’)

完整代码：

import requests
from urllib import parse,request,error
import base64
from lxml import etree
import os
for i in range(1,69):
    try:
        url = 'http://jandan.net/ooxx/page-{}#comments'.format(i) # 获取全部url
        response = requests.get(url)
        html = etree.HTML(response.content)
        imgs = html.xpath('//li/div/div/div[2]/p/span/text()') #加密的图片地址
        for img_url in imgs:
            img_url = parse.urljoin(response.url, str(base64.b64decode(img_url), encoding='utf-8')) # 解密得到图片地址，用parse构造域名
            split_list = img_url.split('/')
            img_name = split_list.pop() #设置图片名称
            path = os.path.join('E:\\jdimgs', img_name) # 设置下载路径
            request.urlretrieve(img_url, filename=path) # 下载图片
            print(img_url)
    except error.URLError as e:
        print('URLError:', e.reason)
    except error.HTTPError as e:
        print('HTTPError:', e.reason)

结果：