爬虫生活实录之---百度文库文档破解

帮同学找考试相关资料的时候瞄上了百度文库（百度文库找期末考的试卷确实特别方便），不想出钱又不想下冰点，复制粘贴还嫌累，灵机一动想用爬虫来解决这个问题。2333我凭本事爬的文档为什么要给钱
目标：搞定百度文库中的付费文档的文字部分内容（图片暂未处理处于无法显示的状态，以后遇到需要解决图片格式的时候再优化程序）
步骤：
1.找到你想下载的文档，打开，在网址wenku前加wap，enter跳转页面之后可以在左上方看到有多少页。记住页数和复制网址，待会儿会用上这两个量
2.你需要有Python环境而且会安装包。本程序需要安装requests，BeautifulSoup，lxml三个包，前两个可以直接pip安装，最后一个建议从官网下载，下载教程在前一篇里有http://blog.csdn.net/qq_38284543/article/details/72964440
3.程序思路：首先，直接打开百度文库是不能爬取文档的，因为源代码里设置了Vip验证。但是百度文库有一个特性，就是手机端下载文档是免费的。于是在网页地址前加入wap使网页端跳转到手机端，此时的源代码就包含了文档中的所有文字内容，根据文档页数决定爬取多少页就能完美打印出文字内容。我看了不少不同类型的百度文库的文档，对正文的标注都是class="content bgcolor1"，因此我大胆猜测所有文档其实都是用这个标签来定义的。
4.上范例代码：
import requests