python+selenium爬取动态表格 ，以天天基金的基金排名为例

最新推荐文章于 2024-05-14 16:45:48 发布
最新推荐文章于 2024-05-14 16:45:48 发布
阅读量3k 收藏 26
点赞数 7
分类专栏： 爬虫 文章标签： python 爬虫 selenium 动态页面
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43388284/article/details/103463901
版权

1.天天基金网站

天天基金排行榜：
在这里插入图片描述

2.看一下数据的格式

表格的数据格式
上图可以看到85.11%那个表格对应的是右边的标签。且该表格是动态，不能直接用request.get(url)来获取，最重要的是，我们要爬取所有的排行榜的话需要点击下一页，而该网站点击下一页的时候，其url不会变化，所以用selenium比较合适。

3.找到对应的xpath

右键上图的标签->copy->copy xpath<

最低0.47元/天 解锁文章
ゾ小々強ア
关注
  • 7
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Python 抓取动态网页表格信息
qq_46614154的博客
05-04 5245
五一假期，研究了下Python抓取动态网页信息的相关操作，结合封面的参考书、网上教程编写出可以满足需求的代码。由于初涉python，过程中曲折很多，为了避免以后遇到问题找不到相关的信息创建本文。 准备工具： Python 3.8 Google Chrome浏览器 Googledriver 测试网站： 1.集思录（https://www.jisilu.cn/data/cbn...
python动态爬取数据_使用Scrapy爬取动态数据
weixin_39927848的博客
12-08 775
对于动态数据的爬取，可以选择selenium和PhantomJS两种方式，本文选择的是PhantomJS。网址：https://s.taobao.com/search?q=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&...
如何使用Selenium Python爬取多个分页的动态表格并进行数据整合和分析
ip16yun的博客
07-31 2808
Selenium是一个开源的自动化测试框架，它可以模拟用户在浏览器中的操作，如点击、输入、滚动等，从而实现对网页的自动化测试或爬取。Selenium支持多种编程语言，如Java、Python、Ruby等，其中Python是最受欢迎的一种，因为它简洁、易用、灵活。Selenium Python提供了一个WebDriver API，它可以让我们通过Python代码控制不同的浏览器驱动，如Chrome、Firefox、Edge等，从而实现对不同网站和平台的爬取。
selenium自动翻页
qq_52984184的博客
09-13 3924
生活中，很多同学由于看课，不想自己翻页而烦恼。 简单学习了selenium后，我觉得可以改变一下现状。 今天我们使用selenium+chrome浏览器来完成自动翻页，解放双手。 目录 文章目录 前言 一、selenium是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 提示：以下是本篇文章正文内容，下面案例可供参考 一、selenium是什么？ Selenium是一个免费的(开源)自动化测试组件，适用于跨不同浏览器和平台的Web应用程序。Selenium侧..
Python + Selenium读取网页表格
最新发布
weixin_47648853的博客
05-14 371
表格的结构一般以table标签开始，此函数是获取table元素的，一个网页中可能不止一个表格，此处返回表格元素的列表。
2020-09-22Python爬取基金的排名信息，写入excel中方便挑选基金
爬遍所有网站
09-22 1085
基金是一种很好的理财方式，利用pyhton根据以往的跌幅情况进行基金选择，是一种很可靠的选择方式。本文以债券基金（稳定且风险较低）的爬虫和策略选择为例子，实现基金的选择。 1、数据库准备 1.1、ubuntu下的mysql安装 以Ubuntu为例，首先安装mysql数据库。 首先执行下面三条命令： sudo apt-get install mysql-server sudo apt install mysql-client sudo apt install libmysqlclient-dev.
爬取动态网站表格内容
雀黑够呛哥
04-30 4764
一、简介 （1）选用requests （2）数据来源以执法惩戒网站为例网址：http://119.6.84.165:8085/sfgk/webapp/area/cdsfgk/zxxx/zxcj.jsp 目录 一、简介 二、考察网站 三、开始爬虫 四、爬取的数据： 五、数据的过滤和保存 二、考察网站 按f12，f5刷新，点击network如图： 点击每...
爬虫爬取动态加载页面表格源代码（已测试过）.zip
06-12
爬虫爬取动态加载页面表格源代码（已测试过），包括三个源代码，动态加载页面，更新表格，可以爬股票、学校参赛名单和成绩排名等，可直接运行
Python+selenium网站数据表格快速收集存储到MYSQL
05-30
Python+selenium网站数据表格快速收集存储到MYSQL 这是一个实用的程序，可以修改相关参数即可使用，如果使用过程不会的，可以加入QQ群咨询：637125060
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
03-05
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
Python实现天天基金数据爬取
08-22
在Python编程领域，爬虫技术是获取网络数据的重要手段，特别是在金融数据分析中，如"Python实现天天基金数据爬取"这个项目所示。天天基金网是中国知名的基金信息平台，提供了丰富的基金数据供投资者参考。本项目旨在...
Python-selenium-爬取河南省统计年鉴信息
01-20
Python-selenium-爬取河南统计年鉴信息 写论文需要用到统计年鉴数据，发现网页上面的数据是一个个的表格，如果一个个的去下载非常麻烦，写个脚本解决一下。 爬虫地址 ...成果预览 实现代码 # -*- coding: utf-8 -*- ...
Selenium爬取京东商品数据 课程设计
01-06
这段Python代码实现了一个简单的网页爬虫，具有以下主要功能： 1. 使用Selenium库模拟了Chrome浏览器的操作，用于访问指定网站。 2. 用户需要手动在浏览器中登录，然后按回车键继续执行脚本。 3. 输入关键词后，...
python爬取 东方财富/天天基金网 基金排行数据
fuyouhan的博客
11-01 1488
""" 通过chrome driver获取指定urls的数据并解析为dataframes，然后保存为excel的多个sheet 1. 该代码自动下载chrome LATEST driver 2. 通过该chrome自动打开网址，加载数据 3. 解析数据，并保存为excel """ from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager import pandas as pd from b
4.4 基金排行数据（Python）
蚊者逆袭的博客
11-30 560
爬取天天基金基金排行，保姆级教程
财富自由之python爬取天天基金排行数据，保存xls文件，慢慢分析
qq_35475714的博客
12-28 2532
1、前言 闲来无聊，最近迷恋上玩基金，真的是又菜瘾有大，刚好有朋友是做数据分析相关的，他想用excel分析基金历史数据，于是乎，让我去爬取天天基金上的排行数据。 2、xls文件结果展示 爬取了全部、股票型、混合型、债券型、指数型，5种类型排行，excel保存结果如下： 3、源码 话不多说，源码如下： from selenium.webdriver.chrome.options import Options from selenium import webdriver from selenium.webdr
用Python获取动态图表数据！
qq_38887171的博客
10-22 2025
相信很多人都看到了用python写动态条形图的文章了吧？ 既然有了Python这个制作动态条形图工具，缺的那便是数据了。 先看一下B站2019年「数据可视化」版块的情况，第一个视频超2百万的播放量，4万+的弹幕。 用什么来衡量手游的热门程度呢，答案便是百度指数。 同样我使用的也是百度指数，百度指数是以百度海量网民行为数据为基础的数据分享平台。 所以本期就来聊一聊可视化视频的数据获取，主要是「百度指数」和「微博指数」。 本来想加上「微信指数」的，发现电脑的抓包软件出了问题，所以就没有加上。
selenium:动态表格找到xpath
软件测试大叔
06-18 1123
新建对象后，查询页面为动态表格，这里是按名字找到所在行，拼写xpath 代码如下： List trlist=driver.findElements(By.xpath("//table[@id='flex1']/tbody/tr")); for(int r=0;r String trText=trlist.get(r).getText(); St
第十篇: Java-Selenium之处理动态Web表
Zhen_learn的博客
02-19 220
程序-练习Web表 打开浏览器 打开网址: http://toolsqa.com/automation-practice-table/ 获取单元格"Dubai"值并打印 点击第一行最后一列的"details"链接 用动态法获取单元格"Dubai"值 打印出"Clock Tower Hotel"行所有的值 关闭浏览器 package automationFramework; import jav...
使用selenium爬取网页表格
02-27
使用 Selenium 可以模拟浏览器操作，包括打开网页、点击按钮、输入文本、获取网页源代码等。因此，使用 Selenium 可以方便地爬取网页中的表格数据。 以下是使用 Selenium 爬取网页表格的一般步骤： 1. 导入必要的库 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC ``` 2. 创建浏览器对象 ```python driver = webdriver.Chrome() ``` 这里选择使用 Chrome 浏览器，需要先下载 ChromeDriver。 3. 打开网页 ```python url = "http://www.example.com" driver.get(url) ``` 4. 找到表格元素 可以使用 Selenium 提供的 find_element_by_* 方法找到表格元素，例如： ```python table = driver.find_element_by_id("table_id") ``` 5. 获取表格数据 获取表格数据有多种方式，以下是其中两种： （1）遍历表格行和列，逐一获取单元格数据： ```python rows = table.find_elements_by_tag_name("tr") for row in rows: cols = row.find_elements_by_tag_name("td") for col in cols: print(col.text) ``` （2）将表格数据读取到 Pandas DataFrame 中： ```python import pandas as pd html_table = driver.find_element_by_xpath("//table") df_list = pd.read_html(html_table.get_attribute('outerHTML')) df = df_list[0] ``` 6. 关闭浏览器 ```python driver.quit() ``` 完整的代码示例： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import pandas as pd # 创建浏览器对象 driver = webdriver.Chrome() # 打开网页 url = "http://www.example.com" driver.get(url) # 找到表格元素 table = driver.find_element_by_id("table_id") # 将表格数据读取到 Pandas DataFrame 中 html_table = driver.find_element_by_xpath("//table") df_list = pd.read_html(html_table.get_attribute('outerHTML')) df = df_list[0] # 关闭浏览器 driver.quit() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值