解析今日头条as,cp,_signiture参数---as,cp
简介
硕士研究生毕业, 工作2年,目前于央企工作,职务为数据采集,系统开发工作。
可提供:Python数据采集,爬虫,scrapy,系统开发flask,vue,Django,spring等服务,。
联系方式:1030617785@qq.com
概述
今日头条网站时效性较高,一段时间前(约2020-04)使用无头浏览器策略获取数据时, 会出现当设置headerless模式时,无法正常获取数据(帖子说需要将无头浏览器进行伪装,写js脚本,或者使用pyppeteer代替selenium,本人尝试使用pyppeteer进行渲染,但是未成功),而设置为有头常规模式时则页面正常渲染。使用requests或者scrapy更是无法获取数据。在忙完一个项目后,今天(2020-06-01)再次挑战今日头条的,直接请求链接:
https://www.toutiao.com/api/pc/feed/?max_behot_time=1590898007&category=all&utm_source=toutiao&widen=1&tadrequire=true&as=A1450E7D7393D2D&cp=5ED3133D123D7E1&_signature=L2VowAAgEBC.muprqUsZ3C9kKdAAHG9KSNFNLqHquPY3.RQokUOoHyIF7rzKPuwuRXqwZWDAs0JSYnXxwRIwR7