原标题:如何使用python爬虫处理有密码的网站?
信息基本上都是共享的,我们在想获取其他网站的内容的同时,其他的网站也同时想要吸取我们的内容,但是除了主动攻击,也有被动防御,比如,现在不少的网站都是有密码的,一般我们使用简单的代码并不能直接进行爬取,这难道就万无一失,没有办法了吗?然而并不是,我们可以用以下内容代码,解决这些问题。
步骤一:查看要爬取的网站信息
进入登录页面 。你会看到如下图所示的页面。
然后进行查看元素,查看到name、password,最终我们得到以下内容
payload = {
"username": "",
"password": "",
"csrfmiddlewaretoken": ""
}
步骤二、配置网站登录设置
创建一个登录对象。
session_requests = requests.session()
设置一个登录的url
result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)
)
步骤三、爬取信息内容
到了这个步骤,我们已经成功进行登录了,用以下方式进行爬取:
url = '链接'
result = session_requests.get(
url,
headers = dict(referer = url)
)
或者您也可以使用通过检查请求来验证请求结果哦~没有密码的网站,很好进去爬取内容,有网站密码的,也不必担心,按照上述小编给大家安排的登录密码爬取解决内容即可哦~
原文至:https://www.py.cn/jishu/jichu/21202.html返回搜狐,查看更多
责任编辑: