【Python爬虫】东方财富数据爬取

最新推荐文章于 2024-06-29 18:12:25 发布
最新推荐文章于 2024-06-29 18:12:25 发布
阅读量3.5w 收藏 69
点赞数 6
分类专栏： python爬虫 文章标签： python html 数据 东方财富 eastmoney
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/binosun/article/details/78697332
版权
本文介绍了如何从东方财富网爬取股东增持数据。通过分析网页请求，发现数据由js加载，提供了三种方案：直接解析网页文件、使用selenium+PhantomJS+BeautifulSoup、利用数据接口请求并解析json数据。
摘要由CSDN通过智能技术生成

0.背景

由于工作需要，最近在研究如何从东方财富网页爬取股东增持数据。
网页：http://data.eastmoney.com/executive/gdzjc-jzc.html

1.分析网页请求

打开网页，选择某数据右键查看元素，可以查看该数据在加载后的网页中的位置。
这里写图片描述
F12打开开发者工具，打开网页查看页面请求，可以发现网页发送了多个请求，请求到的文件包括html、css、js、png等，如下图所示。
这里写图片描述
网页主框架通过html请求加载，数据不在其中。数据是通过js单独加载的。

2.方案介绍
【方案一】

最低0.47元/天 解锁文章
binosun
关注
  • 6
    点赞
  • 踩
  • 69
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
Python爬虫实战(基础篇)—15获取东方财富网股票数据—写入csv（附完整代码）
weixin_42636075的博客
04-10 4548
Python爬虫实战(基础篇)—15获取东方财富网股票数据—写入csv（附完整代码）
东方财富网 python_Python爬虫入门：以东方财富网为例
weixin_39933438的博客
12-06 1079
网络爬虫(Web Spider)，根据网页地址爬取网页内容，从而获取各类数据，实现多种多样的功能。下面就以爬取东方财富网的数据为例，谈谈最简单的爬虫的实现。爬虫的核心有三个：请求、解析、存储。环境配置Python安装使用Anaconda包，包里已经包含了必须的requests模块请求html页面import requestsurl = 'http://www.eastmoney.com/'req ...
东方财富网python 爬虫
11-26
从百度股票爬取个股信息，将结果存储到文件中。 (1) 从东方财富网http://quote.eastmoney.com/stocklist.html抓取所有的股票代码。 (2)分 析 百 度 股 票 中 个 股 的 网 址 构 成 为 ：https://gupiao.baidu.com/stock/股票代码，将第一步获取的股票代码构建为个股的网址，抓取个股的交易数据。 (3) 将各个股票的信息存储至文件中
Python定时爬取东方财富行情数据代码
03-03
Python定时爬取东方财富行情数据代码源码 附sql脚本
东方财富股吧文本爬取及分析案例
最新发布
爱数据爱统计
06-29 812
模块化使得代码可以被多个程序和项目共同使用，如果需要多次使用相同的代码，只需要将代码保存在一个模块中，然后在需要的地方导入即可。从而提高了代码的可重用性，减少了重复开发的工作。：模块化将代码分解为更小、更容易理解的组件，可以更容易地理解每个模块所做的工作，使得代码更加清晰易懂，提高代码的可读性。：模块化使得代码更加模块化、组合和重用，从而降低了代码的复杂度，避免了代码过于臃肿和混乱。：模块化将代码分解为更小的组件，可以更容易地编写单元测试，使得测试和调试变得更加容易，以确保每个模块都按照预期工作。
爬虫：东方财富网股票数据爬取
热门推荐
Cyber的博客
07-26 1万+
前言 因为东方财富网的Js限制，第一页很好爬取，但是第二页开始的网页地址并没有改变，看了下xpath页面元素也和第一页没什么区别，所以只好曲线救国，用selenium找到“下一页”按钮进行跳转再爬取，好处是肯定都能爬到，坏处则是必须一直开着chromedriver，而且爬取效率并不高。 代码 from selenium import webdriver from time import sleep import mysql.connector as mysql '''爬取上证指数的所有股票信息，保存到本地
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储
07-29
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储，很有参考借鉴意义
用python爬取东方财富网网页信息_爬取东方财富网数据的网页分析
weixin_39747296的博客
12-03 1535
自学Python已有3个月之多，浏览无数大神的佳作，收获颇丰。当初自学python就是为了学习爬虫，爬取网站上好看妹子的图片……[流口水][流口水]言归正传，近期学习量化交易知识，发现东方财富网(eastmoney.com)提供的特色数据相当不错，在投资组合页面，看看周冠军，月冠军等排行榜上那诱人的红色数字，那要是我的操作该有多好啊。东方财富网投资组合首页后来一想，我可以把每周的排行榜爬取下来，选...
爬虫：爬东方财富网股票数据
weixin_54187787的博客
10-20 2495
1.页面分析 此次我们获取数据的网站是东方财富网！首先我们按F12打开开发者模式，对name里面的网页进行观察，找到数据存在的网页，发现数据是以jQuery加载进网页的，每次加载20个数据，如图： 至此我们找到了单页网页的数据及地址，接下来我们继续打开第二页，找到每页之间的关系，整理后我们发现第一页的pn值等于1，第二页的pn值等于2： 所以我们构建URL时，只需用for循环让params参数中的pn值变为可变动的值，那么这样的话我们都可以对里面的每一页发起请求进而获...
Python爬取东方财富公司公告
03-12
总结来说，这个案例展示了如何使用Python和Selenium来爬取动态加载的网页数据，特别是东方财富网的公司公告。这涉及到网页交互、动态内容处理、数据解析等多个环节，是Python爬虫实战中的一个重要实例。通过这个项目...
获取东方财富股票的详细信息（python爬虫）
06-22
在这个例子中，我们只是爬取了该网站的一个页面，但东方财富还提供了更丰富的API服务，比如通过其官方API获取数据，这样可以更稳定且合法地获取信息。 总的来说，通过Python爬虫获取东方财富股票的详细信息涉及到了...
东方财富网爬虫.rar
02-22
东方财富网爬虫.rar
东方财富股票评论数据 Python爬虫代码Scrapy框架
03-12
批量爬取股票评论文本数据，包含大量的情感数据，以共分析
东方财富网公告爬取2
04-23
爬取东方财富网公司公告，包括爬取利用ajax加载的网页，以及如何模拟翻页。与上一版增加了对各种错误机制的处理。
东方财富爬虫
m0_61789799的博客
10-20 722
爬取的网站是 神州高铁历史资金的流向的数据 一.首先导入了爬取网站所需要的库： from selenium import webdriver import time from lxml import etree import pymysql import warnings warnings.filterwarnings("ignore", category=Warning) 导入selenium包前先安装 而本不会用到最后两行包，因为后面代码运行时出现了警告，但是职工警告又没有影响代码最终的.
Python爬虫-股票数据定向爬虫（东方财富网）
qq_46068895的博客
05-22 2347
本文介绍了利用python从东方财富网获取股票信息
爬取东方财富网数据笔记
m0_63151116的博客
10-20 8340
小白是如何学习爬虫的？首先先从简单的入手，在b站上寻找爬虫视频，这里推荐Python爬虫编程基础5天速成（2021全新合集）Python入门+数据分析_哔哩哔哩_bilibili 有编程基础的仅需要观看其中部分爬虫视频即可，如果没有编程基础可以自行观看完整视频。这里的爬虫讲解以豆瓣电影Top250的信息爬取为主，所以通过学习如何爬取豆瓣电影信息为基础，在此基础上摸索爬取东方财富网的信息数据。（爬取豆瓣的代码，在视频中有非常完整的讲解） 下面首先爬取了东方财富网的Title 网址：平安银行...
python中plguba_Python量化交易进阶讲堂-爬虫抓取东方财富网股吧帖子
weixin_39861669的博客
12-04 560
欢迎大家订阅《Python实战-构建基于股票的量化交易系统》小册子，小册子会陆续推出与小册内容相关的专栏文章，对涉及到的知识点进行更全面的扩展介绍。本篇专栏为小册子内容的加推篇！！！ 前言量化交易策略的研究主要涵盖了微观和宏观这两个方面，微观方面更多地是从市场价格和成交持仓这些基础信息为研究对象，通过算法计算出技术指标，再从技术指标的变化上构建交易模型。宏观方面则是基于更多的市场资讯开发交易模型，...
python3爬取东方财富股东户数2013-2019年数据
02-17 530
!/usr/bin/env python -*- coding:utf-8 -*- import re import csv import time import random import requests import json from bokeh.models import pd from requests import session class spider_DongFan...
【Python爬虫】东方财富数据爬取每日活跃营业部数据
09-05
你好！对于你的问题，你可以使用Python编写爬虫来获取东方财富网站的每日活跃营业部数据。以下是一个简单的示例代码： ```python import requests from bs4 import BeautifulSoup url = "http://data.eastmoney.com/stock/tradedetail.html" # 发起请求 response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") # 找到营业部数据所在的表格 table = soup.find("table", class_="tab2") # 遍历表格中的行 for row in table.find_all("tr"): # 获取每个单元格的数据 cells = row.find_all("td") if len(cells) == 6: # 确保行长度为6，排除表头和其他无效行 date = cells[0].text.strip() name = cells[1].text.strip() trade_amount = cells[2].text.strip() buy_amount = cells[3].text.strip() sell_amount = cells[4].text.strip() net_amount = cells[5].text.strip() # 打印数据或进行其他处理 print(f"日期：{date}") print(f"营业部名称：{name}") print(f"成交金额：{trade_amount}") print(f"买入金额：{buy_amount}") print(f"卖出金额：{sell_amount}") print(f"净买入金额：{net_amount}") print("-----------------------") ``` 请注意，该示例代码只是一个基本的框架，你可能需要根据实际情况进行适当的修改和优化。另外，为了遵守网站的使用规范，请确保你的爬虫代码不会对网站服务器造成过大的负担，并且遵循相关的爬虫道德规范。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值