python xpath匹配 + selenium模拟点击保存到mysql

最新推荐文章于 2024-04-11 11:01:55 发布

都护小弟弟

最新推荐文章于 2024-04-11 11:01:55 发布

阅读量308

点赞数

分类专栏： python 文章标签： xpath mysql python selenium

本文链接：https://blog.csdn.net/Hoo_ligan/article/details/105918838

版权

本文介绍了如何使用Python的XPath选择器配合Selenium库进行网页元素定位并模拟点击操作，同时详细阐述了将获取的数据有效地存储到MySQL数据库中的步骤和方法。

摘要由CSDN通过智能技术生成

import requests
from lxml import etree
import time
from selenium import webdriver
import pymysql
import sys

sys.setrecursionlimit(8000)

header = {
   
    //放自己的header头
}
res = 'https://m.qidian.com/book/1004608738/0'


def pub(u, pa):
    cont = requests.get(u, header)
    home = etree.HTML(cont.text.encode('utf8'))
    ty = home.xpath(pa)
    return ty


def qd4(res):
    ty