- 博客(1)
- 收藏
- 关注
RSS订阅原创 多账号定向网站爬取关键技术
场景描述：多个帐号模拟登录同一个网站，将不同帐号的cookie保存至本地，对于网站中的异步接口数据，各个帐号（通过携带cookie）都可同时并行请求。问题描述：假设有不同帐号，100个线程的爬取请求的cookie失效时，某个线程将会占有唯一浏览器，重新登录网站。其它线程如何处理？1 爬取线程不应该直接刷新cookie，而是提交刷新cookie的需求2 由cook
2017-08-25 11:26:26
540
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人