Python爬虫入门【23】：scrapy爬取云沃客项目外包网数据！

闲暇写一个外包网站的爬虫，万一你从这个外包网站弄点外快呢

数据分析

官方网址为 https://www.clouderwork.com/

进入全部项目列表页面，很容易分辨出来项目的分页方式

得到异步请求

Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope=
Request Method:GET
Status Code:200 OK

参数如下

    ts:1546395904852  # 时间戳
    keyword:   # 搜索关键字，查找全部，使用空即可
    budget_range:   # 暂时无用
    work_status:
    pagesize:20   # 每页数据量
    pagenum:3   # 页码
    sort:1   # 排序规则
    scope:
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

下面就是拼接请求了，一下确定request相关参数