爬虫之模拟登陆:
在爬取网页的过程中很多
网站是需要登陆才可以查看网页信息,然后在爬取网页,这就需要我们在爬取网页之前做一些模拟登陆的事情。如何进行模拟登陆呢?其实质是利用客户端生成的cookies,因为它里面保存着SessionID的信息,登陆之后的后续请求会携带生成后的cookies发送给服务器。而服务器则会根据Cookies判断出对应的SessionID,进而找到会话。若当前会话是有效的,则服务器就会判断当前用户已经登陆,返回请求页面信息,这样我们就可以爬取我们想获取的信息了。
这里我们使用的方法是:手动在浏览器输入用户名和密码进行登陆,然后获取浏览器里面的cookies信息,编入代码进行模拟登陆操作。
以github网站为例:
![](https://i-blog.csdnimg.cn/blog_migrate/8f900a89c6347c561fdf2122f13be562.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/961ddebeb323a10fe0623af514929fc1.gif)
import requests
from lxml import etree
class Login(object):
def __init__(self):
self.headers ={
'Referer': 'https: // github.com',
'User - Agent': 'Mozilla / 5.0(Windows NT 6.1;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 70.0.3538.110 Safari /537.36',
'Host':'github.com'
}
self.login_url = 'https://github.com/login'
self.post_url = 'https://github.com/session'
self.logined_url = 'https://github.com/settings/profile'
self.session = requests.Session()
def taken(self):
response = self.session.get(self,login_url,headers=self.headers)
selector = etree.HTML(response.text)
token = selector.xpath('//div/input[2]/@value')[0]
return token
def login(self,email,password):
post_data = {
'commit' : 'Sign in',
'utf-8' : '√',
'authenticity_token' : self.token(),
'login' : email,
'password' : password
}
response = self.session.post(self.post_url,data=post_data,headers=self.headers)
if response.status_code == 200:
self.dynamics(response.text)
response = self.session.get(self.logined_url,headers=self.headers)
if response.status_code == 200:
self.profile(response.text)
def dynamics(self):
selector = etree.HTML(html)
dynamics = selector.xpath('//div[contains(@class,"news"])//div[contains(@class,"alert")]')
for item in dynamics:
dynamic = ''.join(item.xpath('.//div[@class="title"]//text()')).strip()
print(dynamic)
def profile(self,html):
selector = etree.HTML(html)
name = selector.xpath('//input[@id="user_profile_name"]/@value')[0]
email = selector.xpath('//select[@id="user_profile_email"]/option[@value!=""]/text()')
print(name,email)
if __name__ == "__main__":
login = Login()
login.login(email='email',password = 'password')