java 爬虫 下一页,Python + selenium 爬虫,点击下一页后,页面依然显示本页的数据?...

用代码里换页的部分,对页面中页码的输入框进行清空,输入页码,点击跳页的操作,没有任何报错,但是页面的数据始终是第一页的数据,请问要怎么处理?

代码:

import time

from datetime import datetime

from selenium import webdriver

# from selenium.webdriver import ChromeOptions

from selenium.webdriver.chrome.options import Options

CHROME_DRIVER = 'chromedriver.exe'

URL_ = 'https://red.library.sh.cn/searchInstance'

TXT_FILE = '文献.txt' # TODO

MAX_PAGE = 851 # TODO

MAX_ITEM = 8505 # TODO

class RedLib:

def __init__(self):

self.chrome_options = Options()

# self.chrome_options.add_argument('--headless')

self.chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])

self.chrome_options.add_experimental_option('useAutomationExtension', False)

self.chrome_options.add_argument("--disable-web-security")

prefs = {"profile.managed_default_content_settings.images": 2}

self.chrome_options.add_experimental_option("prefs", prefs)

self.driver = webdriver.Chrome(executable_path=CHROME_DRIVER, options=self.chrome_options)

self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

"source": """

Object.defineProperty(navigator, 'webdriver', {

get: () => undefined

})

"""

})

def handle_info(self, start_page):

self.driver.get(URL_)

time.sleep(5)

for now_page in range(start_page, 6): # TODO MAX_PAGE + 1

print(f'\n当前正处理第{now_page}页,{now_page / MAX_PAGE * 100:.2f}%,{str(datetime.now()).split(" ")[1].split(".")[0]}')

time.sleep(2)

# 换页操作

self.driver.find_element_by_xpath('//input[@class="searchInput"]').clear()

self.driver.find_element_by_xpath('//input[@class="searchInput"]').send_keys(f'{now_page}')

self.driver.find_element_by_xpath('//div[@class="pagination"]/button').click()

time.sleep(2)

items = 5 if now_page == MAX_PAGE else 10

for item in range(1, items + 1):

info = self.driver.find_element_by_xpath(f'//div[@class="s_right"]/div[{item}]/div[@class="book"]').text

info_text = info.replace('\n', '&&').split('&&更多版本信息')[0]

print(item, info_text)

with open(TXT_FILE, 'a', encoding='utf-8') as tf:

tf.write(info_text)

tf.write('\n')

# self.driver.find_element_by_xpath('//button[@class="btn-next"]').click()

self.driver.quit()

if __name__ == '__main__':

start_page = 1

redlib = RedLib()

redlib.handle_info(start_page)

熟悉项目开发过程中SSM框架、JSP、Mysql使用,知道各技术之间的如何衔接; 考虑到部分学生只需要学习前台(买家)或是后台(后台),故将电商系统分为电商系统前台和电商系统后台两个项目, 当前课程包含电商系统前台和电商系统后台 该课程主要涉及到的技术有:  项目涉及的技术:  1、前端:jsp、css、javascript、jQuery(js框架)、bootstrap框架 2、后台:Spring MVC、Spring、Mybatis框架、javaMail进行邮件发送、jstl 、jstl自定义分页标签、代码生成器等 3、数据库:Mysql 4、服务器:Tomcat项目开发涉及的功能: 1、项目以及数据库搭建 2、用户登录、退出3、用户注册、邮件发送、以及用户信息激活4、首页商品信息页面搭建以及查询功能实现5、查询商品明细6、加入商品至购物车、删除、更新、清除购物车商品信息7、确认订单信息8、订单页面搭建以及下订单功能实现9、查询我的购物车以及订单信息10、商品明细查看,商品修改,商品下架11、商品类型管理12、订单管理13、代码机器人使用等等其他实战项目:java项目实战之电商系统全套(前台和后台)(java毕业设计ssm框架项目)https://edu.csdn.net/course/detail/25771 java项目之oa办公管理系统(java毕业设计)https://edu.csdn.net/course/detail/23008 java项目之hrm人事管理项目(java毕业设计)https://edu.csdn.net/course/detail/23007 JavaWeb项目实战之点餐系统前台https://edu.csdn.net/course/detail/20543 JavaWeb项目实战之点餐系统后台https://edu.csdn.net/course/detail/19572 JavaWeb项目实战之宿舍管理系统(Java毕业设计含源码)https://edu.csdn.net/course/detail/26721 JavaWeb项目实战之点餐系统全套(前台和后台)https://edu.csdn.net/course/detail/20610 java项目实战之电子商城后台(java毕业设计SSM框架项目)https://edu.csdn.net/course/detail/25770 java美妆商城项目|在线购书系统(java毕业设计项目ssm版)https://edu.csdn.net/course/detail/23989 系统学习课程:JavaSE基础全套视频(环境搭建 面向对象 正则表达式 IO流 多线程 网络编程 java10https://edu.csdn.net/course/detail/26941 Java Web从入门到电商项目实战挑战万元高薪(javaweb教程)https://edu.csdn.net/course/detail/25976其他素材版(毕业设计或课程设计)项目:点击老师头像进行相关课程学习
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值