selenium获取cookie并添加、requests处理cookie

今天试着爬取房天下小区,发现requests访问,得不到页面,selenium访问会出现验证码页面,试着用selenium加了cookie之后访问,没有验证码页面了,得到页面数据
1.selenium获取并添加cookie

import requests
from bs4 import BeautifulSoup
import time
from selenium import webdriver
for page in range(1,3):
    url='https://cd.esf.fang.com/housing/__0_0_0_0_{}_0_0_0/'.format(str(page))
    driver=webdriver.Chrome()
    driver.get(url)
    time.sleep(3)
    #获取所有cookie,是一个列表,可能是一个或多个字典形式cookie
    cookies=driver.get_cookies()
    print(cookies)
    cookie=cookies[0]
    print(cookie)

	

	driver.add_cookie(cookie)
	#此时携带者cookie的driver再次访问网址
    driver.get(url)
    time.sleep(3)
    page=driver.page_source
    print(page)

2,requests
我之前用requssts处理cookie方面问题都是这样:

session=requests.session()
rq=session.get(url,header=header)
....

但是这次不行,不知道为啥。。
我这么懒,能出来数据就行,至于用requests出不来的原因,有大佬知道的话,希望能够提点一下,不胜感激

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值