使用python爬取学校门户网站相关信息并格式化输出

其实真正来说我不是很会写技术文档，我觉得我先从这里开始吧。俗话说的好万事开头难，那我就开始写我的第一份技术文档了。

现在我做的一些事情都是在熟悉技术。我在学习python，并且在用python处理网页请求相关的内容。

我们学校的信息门户是必需要登录才能去看的。而且网页模块的排版比较不友好，很多重要信息例如讲座的通知，后勤的断水断电的通知没有办法很方便的及时获知。受到我舍友（手动@杨大潍）的启发，我就开始在期末花了一点时间做了这么一个脚本。以下我就将我在做相关工作时候遇到的问题做一下梳理和总结吧

使用到的python库：

• requests
• beautifulsoup4
• lxml解析器（bs4依赖项目）

首先我使用的是requests的库，相比于其他python的网络库来说，requests更加易用，简单。同时也比较适合我这样的小白。requests常用的方法就是get和post。requests.get返回的是收到的GET到的网页内容。

import requests
r = requests.get(url, headers, data)
print r.text

就是这么easy~不过requests的库需要点击这里下载。至于安装方法，直接就是在winPowershell里或者terminal里输入：

python setup.py install 

大部分在信息门户上的信息都是需要一定的用户权限来获得。一般的时候我们需要一个账号来登入网站才能够获得我们想要的信息的。由于我们学校的信息门户十分的简陋，他的用户认证手段比较老旧，同时这也方便我们处理。

我们在这里使用了chrome的开发者工具来记录GET请求的data结构。