python urllib, urllib2实现登陆和简单爬取网页(个人坑点笔记)

http://www.cnblogs.com/sysu-blackbear/p/3629770.html
http://blog.csdn.net/zhanglingge/article/details/17710767
http://www.th7.cn/Program/Python/201507/498523.shtml
http://www.cnblogs.com/lps365/p/3318226.html

不想做重复的事情，对于已经写得比较详细的我就不再自己重新写了，直接引用，希望原作者谅解（反正直接贴的网站，大概没事吧~）
主要是记一些自己碰到的坑

• 实现登陆其实主要是用好那个cookiejar就好，header好像不是很必须，不过为了模拟的仿真一些可以加上
• 有的网站登陆后用的js的history(-x)这样的跳转，直接urlopen只能得到Html，不能跳转。。由于我用的时候实现的功能确实非常简单(不然就不用Urllib来实现爬取了)，所以直接跳转到那个网页的url了
• 我是通过正则来找一些关键字来找到自己感兴趣的内容，网页可能会带换行符，最好提前处理一下（见另外一篇正则表达式的个人坑点笔记）
• 有的网页的有些部分也是用JS生成的，所以找关键字的时候不能跳到网站F12直接看关键字。。会可能找不到，我是burp-suite抓包然后自己提交一次看的得到的html是什么样的然后再通过这个看的关键字