Selenium学习四——利用Python爬取网页多个页面的表格数据并存到已有的excel中

最新推荐文章于 2024-07-28 23:09:07 发布

晓晓星辰

最新推荐文章于 2024-07-28 23:09:07 发布

阅读量1.7w

点赞数 1

分类专栏： Selenium Python

本文链接：https://blog.csdn.net/yxStory/article/details/78093840

版权

本文介绍如何使用Python的Selenium库爬取牛客网的剑指Offer在线编程题库，将多个页面的表格数据保存到现有的Excel文件中。涉及到的技术包括Selenium、xlwt、xlrd和xlutils模块，详细解释了如何在已有Excel上追加数据，以及处理过程中遇到的问题和解决方案。

摘要由CSDN通过智能技术生成

利用Python爬取网页多个页面的表格数据并存到已有的excel中

1、具体要求

获取牛客网->题库->在线编程->剑指Offer网页，获取表格中的全部题目，保存到本地excel中

2、技术要求

利用Selenium+Python获取网页，操作到table页面

通过xlwt、xlrd、xlutils模块，将表格保存到本地excel

xlwt：写入excel（新建）

xlrd：读取excel

xlutils：将xlrd.Book转为xlwt.workbook，在原有的excel基础上进行修改，添加等。

技术博客参考：http://www.cnblogs.com/jiangzhaowei/p/5856604.html

3、主要代码

from xlutils.copy import copy
import xlwt
import xlrd
import os

def load_Table(page):
    #创建工作簿
    wbk = xlwt.Workbook(encoding='utf-8', style_compression=0)
    #创建工作表
    sheet = wbk.add_sheet('sheet 1', cell_overwrite_ok=True)
    excel = r"C:\xxx\test.xls"
    table_rows = driver.find_element_by_xpath("//*[@class='module-body offer-body']/table