proxypool:自动抓取检测爬虫IP代理,并提供实时开放的WebAPI

欢迎Star/Fork,https://github.com/SimpleBrightMan/proxypoolproxypoolproxypool是一个自动抓取免费代理并检测入库的程序,并提供开放的实时API服务:proxypool-open-WebAPI使用本项目采用python3进行开发,建...

2017-10-17 22:27:07

阅读数:777

评论数:0

异步爬虫

异步爬虫以往写爬虫就是单进程单线程,假设要爬取100哥页面,就是一个循环挨个爬。但是要执行下面一条抓取,就需要等待网络IO请求执行完毕,所以效率就不高了。 一开始处理的数据不大,还意识不到,如果要爬取上万个页面,差距马上就能凸显了。 所以爬虫必须要并发执行,异步编程。 在python中并发编...

2017-10-09 23:15:14

阅读数:333

评论数:0

logging模块,还在使用print打印?

为什么使用日志使用日志来看程序的输入,相比于print,多了一个层级的概念。并且可以将不同层级的日志信息,进行不同的处理。比如正常的debug信息,就可以正常记录到log文件中,供以后日志挖掘使用。critical级别的可能就需要发送一封邮件给运维人员,及时提醒。日志的级别日志一共分成5个等级,从...

2017-10-02 23:05:14

阅读数:306

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭