2018年08月_yx0628

10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 Python的日志输出为文件格式——使用logging模块

logging 模块可以将 python 打印的日志进行文件的输出，具体配置如下： import logging logging.basicConfig(level=logging.INFO, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', ...

2018-08-21 14:26:51 592

原创 Python爬取百度图片搜索结果

爬取百度图片搜索的图片，我们先需要分析其访问 URL，我们在搜索页面，比如搜索 “abc” ，打开 F12 调试，下拉结果页面页，查看网络请求，在其中我们可以找到这样一个请求 http://image.baidu.com/search/acjson? tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&q...

2018-08-19 12:04:18 3112 2

原创 Python爬虫使用动态代理

在 Python 爬虫时，在一段时间内请求数量过多，有时由于防爬机制，可能会出现不能继续爬取的问题。解决问题的方法可以是加长请求的间隔，或者从根本上使用动态 IP ，即将大量请求分散到大量的 IP 地址上来请求，从而使防爬机制不会注意。一个比较好用的高匿名 IP 的网站：http://www.xicidaili.com/nn/ 普遍的认识是这样的：透明代理，即服务器知道请求方的代理 IP...

2018-08-18 11:09:04 4039 1