python 爬虫 实战（一） —— 抓取学校开课数据

1、在python方面的爬虫领域，有一个很强大的集成化、开源的工具，叫 scrapy，做这个小项目之前稍微试用了一下，本来只是想尽快完成这个小项目，但scrapy还是有点深，所以并没有实际掌握，倒是接触到了里面一个很强大的正则工具，xpath，摆脱了学正则化表达式的痛苦

2、整个项目就是一些小模块的累加，也是不断摸索的过程。

3、一开始，使用urllib以及urllib2初探模拟浏览器发送请求的过程当中，由于对cookie机制的不了解，犯下了一个比较严重的错误：

学校具体的课程数据是由 学期->学院->课程信息 这样的结构组成的，为了爬取到所有的数据就得从一开始的学期开始抓取数据，所以就得每一层的链接都要访问，这样cookie才能够正确，不会出现404等问题。我一开始直接将chrome里面的cookie数据直接封装到了请求的头里面，从而造成了很大的错误。

4、字符集问题。由于一开始没有考虑到字符集相关的问题，所以经常会出现乱码或者xpath无法进行正则，后来开始使用gb2312（因为网页的头当中的 charset 为gb2312），但仍然会在编码方面出错

UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 1771-1772

于是改正为gbk编码，但仍然报错，因为数据当中有不少是学生的姓名，姓名当中居然出现了“䶮”(yan 第三声)这样的字，而gbk编码无法支持ÿ