python爬取指定网址的首页_Python seleium 爬虫,怎样爬翻页时网址不变的网页的指定页码?...

用seleium爬翻页时网址不变的网页时,怎样爬取指定页码的内容?(比如我要指定爬第10-20页,而不是从第1页开始)

目前代码(爬取第1-9页)如下:

from selenium import webdriver

from bs4 import BeautifulSoup

import time

browser = webdriver.Chrome()

browser.get("http://lol.qq.com/guide/list.shtml")

for i in range(1,10):

html=browser.page_source

soup=BeautifulSoup(html,'lxml')

all_news=soup.find('ul',id='list_content').find_all('li')

for news in all_news:

new_info={}

new_info['title']=news.find('p',class_='btn-a').get_text()

new_info['read_num']=news.find('p',class_='bfl-playing').get_text()[4:]

new_info['time']=news.find('span',class_='recommend-div-div-raiders-date fr').get_text()

print(new_info)

print('第%d页'%(i))

if not browser.find_element_by_class_name('pagenext'):

break

browser.find_element_by_class_name('pagenext').click()

time.sleep(1)

browser.close()

请指教。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值