教务系统爬虫

正方教务系统助手The helper of ZhengFang System 项目地址:https://github.com/SimpleBrightMan/ZhengFang 欢迎fork,star! 详细分析参见:http://blog.csdn.net/nghuyong/article/...

2016-08-14 10:48:22

阅读数 9003

评论数 1

异步爬虫

异步爬虫以往写爬虫就是单进程单线程,假设要爬取100哥页面,就是一个循环挨个爬。但是要执行下面一条抓取,就需要等待网络IO请求执行完毕,所以效率就不高了。 一开始处理的数据不大,还意识不到,如果要爬取上万个页面,差距马上就能凸显了。 所以爬虫必须要并发执行,异步编程。 在python中并发编...

2017-10-09 23:15:14

阅读数 555

评论数 0

logging模块,还在使用print打印?

为什么使用日志使用日志来看程序的输入,相比于print,多了一个层级的概念。并且可以将不同层级的日志信息,进行不同的处理。比如正常的debug信息,就可以正常记录到log文件中,供以后日志挖掘使用。critical级别的可能就需要发送一封邮件给运维人员,及时提醒。日志的级别日志一共分成5个等级,从...

2017-10-02 23:05:14

阅读数 1024

评论数 0

python爬虫正方教务系统

升级版见:http://blog.csdn.net/nghuyong/article/details/522034431.前期准备1.1缘由某天发现正方教务系统突然升级了,以我们学校江南大学为例: 原先有一个BUG访问http://202.195.144.163/jndx/default3.as...

2016-06-09 22:02:02

阅读数 11135

评论数 3

提示
确定要删除当前文章?
取消 删除
关闭
关闭