Python之使用webdriver爬虫网络数据

本文重要通过Python的webdriver组件来实现爬虫网络数据。

步骤一：安装webdriver组件，具体方法可以参考相关文章

PS：webdriver需要与当前使用Chrome版本向匹配

步骤二：下载Chrome的驱动chromedriver，具体方法可以参考相关文章

PS：chromedriver需要与当前使用Chrome版本向匹配

步骤三：打开需要爬虫的网络，本文使用东方财富网为例

测试网址：中银基金股吧

http://guba.eastmoney.com/list,zg80048752,f_1.html

步骤四：定位需要获取的元素

打开浏览器的开发者模式工具，然后定位到需要爬的数据行，如下图：

爬取数据均在div中

步骤五：编写爬取代码

import copy
import time
from openpyxl import Workbook
from lxml import etree
from selenium import webdriver


def main(url,filename):
    # url = r'http://guba.eastmoney.com/list,zg80048752,f_1.html'
    wb = Workbook()  #定义Excel对象
    sheet = wb.active    #定义一个sheet页
    sheet.append(['