Python网络爬虫--项目实战（1）--500px图片爬取

一、目标

爬取500px图片并保存

目标网址：https://500px.com.cn/community/discover

二、分析

2.1 网站分析：

经过研究发现该网站没有点击下一页的按钮，然后往下拖动下拉条直到最后，会自动刷新出新的内容，基本可以得出该网页是动态刷新的。

或者ctrl+U 打开页面源码，复制粘贴一张图片的地址，在源码中找不到对应的地址，也可以判断该页面为动态加载的。

2.2 反爬分析：

相同的IP爬取大量的图片可能会被反爬（频率反爬），故需要采用UA池

三、注意点：

1.一定要选取正确的网页接口，接口一般包含该网页的全部信息
2.找到接口并找到每张图片的对应地址后，发现该地址并不完整需要我们手动拼接一部分内容，此处为"!p4"或者"!a1"。

四、代码

import uuid

import requests
from fake_useragent import UserAgent


class Spider_Photoes(object):

    def __init__(self):
        ua = UserAgent()
        self.url = 'h