import requests
from bs4 import BeautifulSoup
import time
def captcha(captcha_data):
with open("captcha.jpg","wb") as f:
f.write(captcha_data)
text=raw_input(("请输入验证码:").encode("gb18030"))
return text
def zhihu():
sess=requests.Session()
#请求报头
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"}
#首先获取登录页面,找到需要post的数据(_xsrf),同时会记录当前网页的cookie值
html=sess.get("https://www.zhihu.com/#signin",headers=headers).text
#调用lxml解析库
bs=BeautifulSoup(html,'lxml')
#获取之前get的页面里的_xsrf值
#_xsrf作用是防止CSRF(跨站请求伪造),通常叫跨站攻击,是一种利用网站对用户的一种信任机制来做坏事
#跨站攻击通常通过伪装成网站信任的用户的请求(cookie),盗取用户信息,欺骗微博服务器
#所以网站会通过设置一个隐藏的字段来存取这个md5码字符串,这个字符串用来校验用户cookie和服务器session的一致性
_xsrf=bs.find("input",attrs={"name":"_xsrf"}).get("value")#bixpath好用点,更容易获取html中我们需要的数据
captcha_url="https://www.zhihu.com/captcha.gif?r=%d&type=login"%(time.time()*1000)
captcha_data=sess.get(captcha_url,headers=headers).content#发送图片请求,获取二进制数据流
#获取验证码需要手动输入
text=captcha(captcha_data)
data={"_xsrf":_xsrf,"email":"*******@qq.com","password":"******","captcha":text}
response=sess.post("https://www.zhihu.com/login/email",data=data,headers=headers)
# print response.text.encode("gb18030")#打印登录成功的页面
#登录页面获取到cookie后,可以访问任何地方,比如访问个人主页
html=sess.get("https://www.zhihu.com/people/*********/activities",headers=headers).text
print html
if __name__=="__main__":
zhihu()
我们要先通过抓包工具获取form里面需要登录的条件,比如知乎需要获取隐藏的字段_xsrf,还有账号,密码,验证码,所以先要在登录页面找到_xsrf的value值,账户,密码,验证码获取的方法,需要获取验证码的数据流,然后保存在本地,打开验证码图片,手动输入,最终加入data中,通过post方法向服务器发送请求登录页面,sess保存cookie值,最终我们可以通过cookie值get任何地方。
爬知乎了解BeautifulSoup用法
最新推荐文章于 2024-08-12 23:17:41 发布