爬虫解决验证码，用requests创建session会话对象

最新推荐文章于 2024-08-21 16:22:12 发布

Ren_ger

最新推荐文章于 2024-08-21 16:22:12 发布

阅读量1.6k

点赞数

本文链接：https://blog.csdn.net/Ren_ger/article/details/81190910

版权

本文介绍如何利用Python的requests库中的session会话对象来应对爬虫过程中的验证码问题。通过session，我们可以保持请求之间的某些状态，提高爬取效率。

摘要由CSDN通过智能技术生成

import requests
from urllib import request
import re

# 创建一个回话
session=requests.session()
#请求携带的表单数据
form={
    'form_email':'',
    'form_password':''
}

def login():
    login_url='https://accounts.douban.com/login'
    form = {
        'form_email': '',
        'form_password': ''
    }
    #发送请求
    response=session.post(login_url,data=form)
    # 设置编码
    response.encoding=response.apparent_encoding
    # 获取数据
    html=response.text
    # print(html)
    if  'captcha_image' in html:
        # 编译正则（获取图片下载链接地址）
        captcha_pat=re.compile(r'id="captcha_image" src="(.+?)"')
        #搜索数据(图片)
        res=captcha_pat.search(html)
        #获取数据（图片链接）
        captcha=res.group(1)
        #写入图片文件    
        request.urlretrieve(captcha,'douban.png'