Python爬虫入门-python之爬取pexels高清图片

标签: python 图片 ajax
2050人阅读 评论(4) 收藏 举报
分类:

先上张图片:
小姐姐.png

首先打开网址:https://www.pexels.com/,然后下来会发现下面的图片是慢慢的加载出来的,也就是通过Ajax请求得到的。在搜索框中输入关键字:beauty,打开F12,刷新,选中XHR,然后一直下拉下拉:

分析2.png

会发现左侧中的URL只有一个page是在发生变化的,在通过对URL中参数的分析我尝试的将URL中的参数js和format去掉,构造出类似于:https://www.pexels.com/search/beauty/?page=2
其中page代表的是页数是会发生变化的,然后复制到浏览器中可以打开图片,改变page的值也没有问题。
https://www.pexels.com/search/beauty/?page=2为例,在浏览器中打开,再打开F12刷新,切换到Preview选项卡:

分析3.png

这里面就有当前页面一张张图片的信息,我们可以通过请求这个页面,将相关图片的链接解析出来,就可以拿到我们想要的图片了。
我们打开其中一张美女图片,点击右侧的下载按钮,页面进行跳转:

分析4.png

从浏览器中发现图片的地址为:
https://static.pexels.com/photos/220423/pexels-photo-220423.jpeg
这个与上图中的 data-pin-media 属性的值很像有没有,多打开几张大图重复这个过程真是的图片的高清地址是将data-pin-media中的images替换为static即可。
下面就可以开始写代码了:
打算使用PyQuery库进行解析,练习一下这种用法:

import requests
from requests.exceptions import RequestException
from pyquery import PyQuery as pq

keyword='beauty'
headers={
 'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'accept-encoding':'gzip, deflate,sdch,br',
 'cookie':'__cfduid=d3e43ad7f4bb07152deb3e9b4ca571b271505889614; locale=en; _ga=GA1.2.127776053.1505890636; _gid=GA1.2.783458515.1505890636; _gat=1',
 'user-agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

def get_index(url):
    response=requests.get(url,headers=headers)
    try:
        if response.status_code==200:
            return response.text
        return None
    except RequestException:
        return None

def parse_index(html):
    doc=pq(html)
    links=doc('.photos .photo-item a img')
    for link in links:
        # title=link.attr('alt').replace(',','')
        url=link.attr('data-pin-media').replace('images','static').split('?')[0]
        yield url

def main(page):
    url = 'https://www.pexels.com/search/'+keyword+'/?page='+str(page)
    html=get_index(url)
    if html:
        urls=parse_index(html)
        print(urls)

if __name__=='__main__':
      main(1)

运行这个程序,没有跑起来,发生报错:
没有attr这个属性,还有

报错01.png

Google一下:

报错1-Google.png

发现PyQuery的写法好像有问题,小白就是这样经常在一个基础的地方踩上坑,于是:
url=link.attr(‘data-pin-media’).replace(‘images’,’static’).split(‘?’)[0],改成:url=pq(link).attr(‘data-pin-media’).replace(‘images’,’static’).split(‘?’)[0]
可以跑起来了。
然后就是保存图片:

def download_img(url):
    response=requests.get(url)
    try:
        if response.status_code==200:
            return response.content
        return None
    except RequestException:
        return None

def save_image(content):
    path_name='{0}/{1}.{2}'.format(os.getcwd(),md5(content).hexdigest(),'jpg')
        if not os.path.exists(path_name):
            with open(path_name,'wb') as f:
                f.write(content)
                f.close()

def main(page):
    url = 'https://www.pexels.com/search/'+keyword+'/?page='+str(page)
    html=get_index(url)
    if html:
        urls=parse_index(html)
        for url in urls:
            print('正在下载:%r'%url)
            content=download_img(url)
            save_image(content)
            print('下载完成:%r'%url)
            time.sleep(3)

运行结果如下:

运行结果.png

但是这个下载速度实在是蛋疼的很啊(谁让这个图片这么大呢),开了多进程也一样,而且一开始程序一直卡着我一直以为自己的代码有什么问题跑不起来了,瞎捉摸了老半天也找不出原因,后面去洗澡了,洗完后发现下载了几张图片下来了:

照片.png

所以我在想要是能写个下载进度条就好了,可以方便查看下载的进度,特别是对于这种大图片的下载,等以后学习了,可以再做些修改。

查看评论

python爬虫----图片爬取之高清原图

这次又来爬取图片啦,不过这次爬的是原图 大概的思路和上一篇差不多,不同的是不同的网站有不同的反爬策略 爬取的网站是:https://www.pexels.com/ 1、源码分析 进入网...
  • qq_32511479
  • qq_32511479
  • 2017-07-25 11:21:05
  • 2684

http协议与http代理

TCP/IP协议族 TCP/IP(Transmission Control Protocol/InternetProtocol,传输控制协议/网际协议)是用于计算机通信的一个协议族。 TCP/IP协...
  • lihancheng
  • lihancheng
  • 2014-10-15 09:20:12
  • 1994

tensorflow学习——爬虫(headers爬取图片)

1、使用正则查找import requests import re import os import timeheaders = { "Accept": "text/html,a...
  • ei1990
  • ei1990
  • 2017-09-25 16:30:00
  • 464

Python 3.5_简单上手、爬取百度图片的高清原图

介绍python的安装和使用,使用Python 3的版本,爬取百度图片的高清原图,可以自定义搜索内容和下载路径,并分享全代码,注释清晰,简单容易上手。...
  • MirrorMan0
  • MirrorMan0
  • 2017-11-10 15:49:50
  • 773

Python爬虫入门-python之爬取pexels高清图片

先上张图片: 首先打开网址:https://www.pexels.com/,然后下来会发现下面的图片是慢慢的加载出来的,也就是通过Ajax请求得到的。在搜索框中输入关键字:beauty,打开F1...
  • suwenkun1126
  • suwenkun1126
  • 2017-09-21 16:25:28
  • 2050

我把我用R写的第一个爬虫就献给了国家

我使用R语言rvest 爬取今年的《政府工作报告》文章内容,jiebaR 用于分词,统计词频,再使用wordcloud2 用于对文本进行可视化。...
  • wzgl__wh
  • wzgl__wh
  • 2017-05-31 22:50:45
  • 4598

python爬虫----简单的图片爬取

大致说下思路和步骤吧 一、网页分析 1、输入关键词搜索后会得到瀑布流形式展现的图片,我们要爬取的不是这种图,而是点进去后分辨率为960*720的图片,因此还要获取单个图片的页面。 查看图片地址发现,例...
  • qq_32511479
  • qq_32511479
  • 2017-07-13 12:47:00
  • 905

Python3 爬虫 - 爬取 bing 高清桌面大图

看到 bing 的高清大图,觉得质量都很高,都挺好看的,升到 window 10 以后,每次开机的画面都不一样,也觉得很有特点,我们来做一个简单的抓图 Demo 版脚本。...
  • CSND_Ayo
  • CSND_Ayo
  • 2017-06-24 14:52:36
  • 1788

高清图片爬取

目标网站:https://unsplash.com/ 目的:爬取一些图片作为Java小程序的背景图 代码如下: import requests,json,time,sys from context...
  • qq_39382769
  • qq_39382769
  • 2018-03-30 11:20:00
  • 29

python 网络爬虫入门(四)— 破解pexels高清原图

巧妙避开瀑布流,破解pexels高清原图
  • waking_up88688
  • waking_up88688
  • 2017-03-23 00:14:50
  • 425
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 412
    排名: 11万+
    文章存档
    最新评论