爬虫项目：用selenium模拟登陆后，用requests的Session维护一个会话爬取数据

好久没写博客了，由于工作忙，今天也是账号有问题，解决不了问题，那就把我遇到问题总结一下，方便大家查阅。

最近遇到一个很头疼问题，就是用selenium模拟登陆账号之后，要获取数据，最让人头疼的是这个网站的cookie是会话cookie，只要你关闭页面，cookie立马失效，你什么数据都获取不到，最让人头疼的是获取了登录后的cookie但就是无法请求到数据？

遇到这个问题解决办法是就是用requests的Session()保持登录状态。

不啰嗦了，直接上解决过程

1. 首先用selenium模拟登陆

import json
import re
import time
import requests
from lxml import etree
from selenium import webdriver


class IndustrialBank:

    def __init__(self):
        self.session = requests.Session()
        self.driver = webdriver.Chrome()
        self.headers = {
   
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
        }

    def __call__(self, *args, **kwargs):
        self.login_simulation()
        # self.active_info()
        # self.credit_bill()
        # self.charge_out()

def login_simulation(self):

        login_url = 'https://personalbank.cib.com.cn/pers/main/login.do'
        self.driver.get(login_url