教务系统爬虫

正方教务系统助手The helper of ZhengFang System 项目地址:https://github.com/SimpleBrightMan/ZhengFang 欢迎fork,star! 详细分析参见:http://blog.csdn.net/nghuyong/article/...

2016-08-14 10:48:22

阅读数:8397

评论数:1

异步爬虫

异步爬虫以往写爬虫就是单进程单线程,假设要爬取100哥页面,就是一个循环挨个爬。但是要执行下面一条抓取,就需要等待网络IO请求执行完毕,所以效率就不高了。 一开始处理的数据不大,还意识不到,如果要爬取上万个页面,差距马上就能凸显了。 所以爬虫必须要并发执行,异步编程。 在python中并发编...

2017-10-09 23:15:14

阅读数:475

评论数:0

logging模块,还在使用print打印?

为什么使用日志使用日志来看程序的输入,相比于print,多了一个层级的概念。并且可以将不同层级的日志信息,进行不同的处理。比如正常的debug信息,就可以正常记录到log文件中,供以后日志挖掘使用。critical级别的可能就需要发送一封邮件给运维人员,及时提醒。日志的级别日志一共分成5个等级,从...

2017-10-02 23:05:14

阅读数:715

评论数:0

python tuple

python-tuple简介 tuple是一个有序的集合 tuple和list很类似,但是tuple中元素不可更改 tuple操作In [1]: myTuple = (2,True,4,96)In [2]: myTuple Out[2]: (2, True, 4, 96)In [3]: len(m...

2016-06-20 21:37:33

阅读数:275

评论数:0

python dictionary

python-Dictionary简介 字典是一个无序的集合 字典有key-value键值对组成 字典中的键不可以重复,key的集合可以看成一个set 操作符函数In [15]: d = {"name":"xiaoming","pwd":...

2016-06-20 21:36:17

阅读数:464

评论数:0

python string

python-String简介 String是一个有序的字符集合。 String中的元素是不可更改的 操作符In [23]: "David" Out[23]: 'David'In [24]: name = "David"In [25]: name[3] Ou...

2016-06-20 21:32:45

阅读数:241

评论数:0

python set

Python-Set简介 set是一个无序的集合 set中可以存放各种类型的数据 set具有元素唯一性,无重复元素 set()可以创建一个空的set 操作符函数In [1]: myset = {False,4.5,3,6,'cat'}In [2]: yourset = {99,3,100}In [...

2016-06-20 21:28:23

阅读数:323

评论数:0

python list

python-List简介 List是一个有序的集合 序号从0起编 一个List中可以包含多种类型的数据 操作符函数In [1]: mylist = [1024,3,True,6.5]In [2]: mylist.append(False)In [3]: mylist Out[3]: [1024,...

2016-06-20 21:25:45

阅读数:301

评论数:0

python爬虫正方教务系统

升级版见:http://blog.csdn.net/nghuyong/article/details/522034431.前期准备1.1缘由某天发现正方教务系统突然升级了,以我们学校江南大学为例: 原先有一个BUG访问http://202.195.144.163/jndx/default3.as...

2016-06-09 22:02:02

阅读数:10131

评论数:3

提示
确定要删除当前文章?
取消 删除
关闭
关闭