python滚动条翻页爬取数据_python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解...

基本思路:

首先用开发者工具找到需要提取数据的标签列

利用xpath定位需要提取数据的列表

然后再逐个提取相应的数据:

保存数据到csv:

利用开发者工具找到下一页按钮所在标签:

利用xpath提取此标签对象并返回：

调用点击事件,并循环上述过程:

最终效果图:

代码:

from selenium import webdriver

import time

import re

class Douyu(object):

def __init__(self):

# 开始时的url

self.start_url = "https://www.douyu.com/directory/all"

# 实例化一个Chrome对象

self.driver = webdriver.Chrome()

# 用来写csv文件的标题

self.start_csv = True

d