简单Python3爬虫程序（5）进阶：知乎网的登录与用户相关信息爬取

下面是在Python3上的代码，这次觉得麻烦就没有分成两个模块了，本来想爬的是每个用户的主页，但是正则没有写好，所以就爬取了所有与用户相关的信息：

import gzip
import re
from collections import deque
import http.cookiejar
import urllib.request
import urllib.parse
queue = deque()
visited = set()
def ungzip(data):
    try:
        print('正在解压.....')
        data = gzip.decompress(data)
        print('解压完毕!')
    except:
        print('未经压缩, 无需解压')
    return data

def getXSRF(data):
    cer = re.compile('name=\"_xsrf\" value=\"(.*)\"', flags = 0)
    strlist = cer.findall(data)
    return strlist[0]

def getOpener(head):
    # deal with the Cookies
    cj = http.cookiejar.CookieJar()
    pro = urllib.request.HTTPCookieProcessor(cj)
    opener = urllib.request.build_opener(pro)
    header = []
    for key, value in head.items():
        elem = (key, value)
        header.append(elem)
    opener.addheaders = header
    return opener
header = {
    'Connection': 'Keep-Alive',
    'Accept': 'text/html, application/xhtml+xml, */*',
    'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Accept-Encoding': 'gzip, deflate',
    'Host': 'www.zhihu.com',
    'DNT': '1'
}

url = 'http://www.zhihu.com/'
opener = getOpener(header)
op = opener.open(url)
data = op.read()
data = ungzip(data) 
_xsrf = getXSRF(data.decode())

url += 'login/email'
id = '账号'
password = '密码'
postDict = {
        '_xsrf':_xsrf,
        'email': id,
        'password': password,
        'rememberme': 'y'
}
postData = urllib.parse.urlencode(postDict).encode()
op = opener.open(url,data=postData)
data = op.read()
data = ungzip(data)
saveFile(data)


url = 'http://www.zhihu.com/'
queue.append(url)
cnt = 1
while queue:
  url = queue.popleft()  
  visited |= {url} 
  print('已经抓取第: ' , cnt, '个链接','   当前链接：  ' + url)
  op = opener.open(url)
  if 'html' not in op.getheader('Content-Type'):
    continue
  try:
    data = ungzip(op.read())
    saveFile(data)
    data = data.decode(encoding='UTF-8')
    print('save the :',cnt,' data')
  except:
    continue

  cnt += 1
  linkre = re.compile('href=\"(.+?)\"')
  try:
    for x in linkre.findall(data):
      if 'http' in x and 'zhihu.com/people' in x  and x not in visited:
        queue.append(x)
        print('把 ' + x +'加入队列')
  except:
    continue

其中saveFile函数请见简单Python3爬虫程序（4），欢迎留言！

我们要把要 POST 的数据弄成 opener.open() 支持的格式. 所以还要  urllib.parse 库里的 urlencode() 函数. 这个函数可以把字典、元组、集合类型的数据转换成 & 连接的 str，然后通过 encode() 来编码, 才能当作 opener.open() 或者 urlopen() 的 POST 数据参数来使用