自从暑假学了大概一个月左右的爬虫,开学之后就没怎么搞爬虫了,当时也就学到scrapy框架就放下了,大致了解了一下框架,不是太理解,但是在这之前本人的爬虫水平也仅仅局限于爬取简单页面,爬取动态页面也稍微了解下,但是一直没有学模拟登陆,因为当时怎么也搞不懂模拟登陆是怎么个回事,包括保存页面cookies也不知道,
最近有重新拾起爬虫,准备将爬虫再进阶一下,于是找到了网上一些视频看到有个用beautifulSoup实现模拟登录知乎,感觉挺容易上手的。下面,贴代码
import requests
from bs4 import BeautifulSoup
url = "https://www.zhihu.com/#signin"
#请求报头
def zhihuLogin(url):
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537