Python爬虫学习（三）

使用第三方库requests与BeautifulSoup实现登录功能：

import requests
from bs4 import BeautifulSoup
 
headinfo = {
    'Connection': 'Keep-Alive',
    'Accept': 'text/html, application/xhtml+xml, */*',
    'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
}
url = 'http://sspanel.badtom.cn/auth/login'
session = requests.session()
login_data = {'email': 'yhangang@126.com', 'passwd': '123456'}
session.post(url, login_data, headers = headinfo)
page = session.get('http://sspanel.badtom.cn/user')
data = BeautifulSoup(page.text, "html.parser")
 
print(data.title.text)
for x in data.findAll('a'):
    print(x['href'])

其中，session.post(url, login_data, headers = headinfo)为发送post请求到服务器进行登录，登录成功后session会保持。如果注释掉这一句会发现返回的网页是未登录之前的数据。