爬虫
独舞人生
Everything should be simple
展开
-
万能爬虫框架
对于爬虫大部分情况下都是请求头的构造很难,难就难在你必须分析js代码,看看header中有那些验证信息,这些验证信息是怎么生成的,然后再在Python中写出生成的方法,这样就能构造出正确的请求头,有了正确的请求头,就一定能请求成功,但是对于很多网站,这样的方式在过于复杂,不是一个好的解决方案,所幸的是还有一种方案是万能的,它可以爬取任何网页和任何操作,这个方案就是使用谷歌或者火狐提供的自动化测试工...原创 2019-03-29 09:08:29 · 1301 阅读 · 0 评论 -
爬虫----有道翻译
import timeimport requestsimport hashlibclass YoudaoFanyi: def __get_cookie(self): url='http://fanyi.youdao.com/' ret=requests.get(url=url) return ret.headers.get('...原创 2019-05-16 21:37:46 · 168 阅读 · 0 评论