优酷评论爬虫
之前抓取的是页面数据,没有具体去看评论接口的参数,昨天发现优酷web版上面的评论模块没了(我猜是要更新评论数据的加载策略,之前页面加载太慢了)
然后我就开始调试接口的sign参数,走接口拿数据。
这篇文章说下优酷评论sign的生成方法。(老版本的sign已凉,目前新版本双sign)
[具体过程不做太多介绍,文章末尾放代码]
一个电视剧的链接:
https://v.youku.com/v_show/id_XNDIyMjY5NDcyMA==.html
评论数据的接口:
接口 :https://acs.youku.com/h5/mtop.youku.ycp.comment.mainpage.module.get/1.0/
请求方式: Get
可以观察出 变化的参数只有两个sign和 objectId,time
- sign是签名
- objectId就是链接上的ID:XNDI