前面我们已经实现了斗鱼直播单页房间数据的爬取,
具体代码实现在我的博客:https://blog.csdn.net/g_optimistic/article/details/89944897
现在只讲翻页操作,以下有两种方法:
目录
1.使用无界面浏览器 Selenium 与PantomJS的结合
1.使用无界面浏览器 Selenium 与PantomJS的结合
当点击下一页的时候,如下图找到的那个标签 li 的属性 aria-disabled="true"的时候,就没有下一页了。
代码实现:
from selenium import webdriver
from lxml import etree
import time
def get_data(content):
tree = etree.HTML(content)
li_list = tree.xpath('//ul[@class="layout-Cover-list"]/li')
print(len(li_lis