![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
yx0628
这个作者很懒,什么都没留下…
展开
-
Python爬虫使用动态代理
在 Python 爬虫时,在一段时间内请求数量过多,有时由于防爬机制,可能会出现不能继续爬取的问题。解决问题的方法可以是加长请求的间隔,或者从根本上使用动态 IP ,即将大量请求分散到大量的 IP 地址上来请求,从而使防爬机制不会注意。一个比较好用的高匿名 IP 的网站:http://www.xicidaili.com/nn/ 普遍的认识是这样的: 透明代理,即服务器知道请求方的代理 IP...原创 2018-08-18 11:09:04 · 4033 阅读 · 1 评论 -
Python的日志输出为文件格式——使用logging模块
logging 模块可以将 python 打印的日志进行文件的输出,具体配置如下:import logginglogging.basicConfig(level=logging.INFO, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', ...原创 2018-08-21 14:26:51 · 587 阅读 · 0 评论