[Python]网络爬虫：北邮图书馆排行榜

VIP文章进击的鼻孔猫

于 2015-04-17 11:23:30 发布

阅读量1.7k

点赞数

分类专栏： Python 文章标签： python 爬虫正则表达式网络爬虫 cookie

本文链接：https://blog.csdn.net/zhangxbj/article/details/45094695

版权

最近对爬虫比较感兴趣，就研究了一下。

推荐一个python爬虫博客http://blog.csdn.net/pleasecallmewhy/article/details/9305229点击打开链接。跟着博主的博客学了下来，自己动手编写了一个爬北邮图书馆排行榜的demo。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

#---------------------------------------
#   程序：bupt图书馆爬虫-排行榜
#   版本：0.1
#   作者：zhangxuan
#   日期：2015-04-15
#   语言：Python 2.7
#   操作：输入账号和密码
#   功能：
#---------------------------------------
' a test module '


__author__ = 'zhangxuan'

import urllib
import urllib2
import cookielib
import re



cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
opener.addheaders = [('User-agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:37.0) Gecko/20100101 Firefox/37.0')]

urllib2.inst