爬一爬!
仅仅记录一下一个java狂热者在python中的爬路经历。
谈谈自己对Java和Python在网络编程方面的感受: 曾经的我在java中写过不少爬虫,代码量非常的大(毕竟静态语言非得事先声明),而且post过程及其复杂,对cookie的操作也显得特别混乱(但是java的代码结构还是依然的清晰,有条有理。这也是动态语言不能超越的)。最近看了python中的网络编程,感叹其简洁性,曾经HttpUrlConnection或者HttpClient复杂的connect过程在python中仅一行代码urlopen。这真的是让我措手不及。废话少说....
我使用的是Python3.5,之前用2.7写过一次,使用的是url lib,urllib2,cStringIO。但是将源代码转换到python3.5之后,异常纷飞。
所以这里简要说明一下版本间的模块的对应关系:
python2.7 | python3.5 |
urllib | url lib.parse |
urllib2 | url lib.request |
cStringIO | io |
PIL.Image | Image |
思路:
1.先去xxx教务网站抓包,看一下我们网络请求所需要的数据。(chrome自带工