爬知乎了解BeautifulSoup用法

import requests
from bs4 import BeautifulSoup
import time

def captcha(captcha_data):
	with open("captcha.jpg","wb") as f:
		f.write(captcha_data)
	text=raw_input(("请输入验证码:").encode("gb18030"))
	return text

def zhihu():
	sess=requests.Session()

	#请求报头
	headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"}

	#首先获取登录页面，找到需要post的数据(_xsrf),同时会记录当前网页的cookie值
	html=sess.get("https://www.zhihu.com/#signin",headers=headers).text

	#调用lxml解析库
	bs=BeautifulSoup(html,'lxml')

	#获取之前get的页面里的_xsrf值
	#_xsrf作用是防止CSRF（跨站请求伪造），通常叫跨站攻击，是一种利用网站对用户的一种信任机制来做坏事
	#跨站攻击通常通过伪装成网站信任的用户的请求（cookie），盗取用户信息，欺骗微博服务器
	#所以网站会通过设置一个隐藏的字段来存取这个md5码字符串，这个字符串用来校验用户cookie和服务器session的一致性
	_xsrf=bs.find("input",attrs={"name":"_xsrf"}).get("value")#bixpath好用点，更容易获取html中我们需要的数据

	captcha_url="https://www.zhihu.com/captcha.gif?r=%d&type=login"%(time.time()*1000)
	captcha_data=sess.get(captcha_url,headers=headers).content#发送图片请求，获取二进制数据流
	#获取验证码需要手动输入
	text=captcha(captcha_data)

	data={"_xsrf":_xsrf,"email":"*******@qq.com","password":"******","captcha":text}
	response=sess.post("https://www.zhihu.com/login/email",data=data,headers=headers)
	# print response.text.encode("gb18030")#打印登录成功的页面
	
	#登录页面获取到cookie后，可以访问任何地方，比如访问个人主页
	html=sess.get("https://www.zhihu.com/people/*********/activities",headers=headers).text
	print html
if __name__=="__main__":
	zhihu()

我们要先通过抓包工具获取form里面需要登录的条件，比如知乎需要获取隐藏的字段_xsrf，还有账号，密码，验证码，所以先要在登录页面找到_xsrf的value值，账户，密码，验证码获取的方法，需要获取验证码的数据流，然后保存在本地，打开验证码图片，手动输入，最终加入data中，通过post方法向服务器发送请求登录页面，sess保存cookie值，最终我们可以通过cookie值get任何地方。