![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
蔡文彬
这个作者很懒,什么都没留下…
展开
-
爬虫自动获取UserAgent
导入from fake_useragent import UserAgent, FakeUserAgentError import random 获取用户代理对象 try: ua = UserAgent()except FakeUserAgentError: pass用随机随机获取一个用户代理,并加入到页眉 base_headers = ...原创 2018-04-15 16:50:23 · 635 阅读 · 0 评论 -
python爬取微信公众号文章信息
就我了解的爬取方法,主要有三种爬取方法,通过搜狗微信,微信订阅号后台和手机端。我采取了前两种方法。但是搜狗微信爬取的url是有时间限制的,会失效,之后要用别的方法转永久链接,微信订阅号并不会,但是一个公众号有爬取次数的限制,要用多个账号。我主要拿取了这些数据,url不会失效 ...原创 2018-09-03 15:09:18 · 1544 阅读 · 1 评论