爬去东方财富网龙虎榜（wechat：15353378609）

最新推荐文章于 2023-04-18 19:31:14 发布
置顶 最新推荐文章于 2023-04-18 19:31:14 发布
阅读量1.5k 收藏 4
点赞数
文章标签： 爬虫 动态加载
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AbrahamJIA/article/details/95316779
版权 

from selenium import webdriver
from lxml import etree
import json
import os
import time




def write_to_file(content,p_name):

    new_time = time.strftime('%Y%m%d')

    with open('../20190708期货数据/'+new_time+p_name+'.txt', 'a', encoding='utf-8') as f:

        f.write(json.dumps(content, ensure_ascii=False) + '\n')

        f.close()



def get_html(url,s_name,p_Name):

    try:
        driver.get(url=url)
        input0 = driver.find_element_by_id('futures_exchange')
        input0.send_keys(s_name)

        input1 = driver.find_element_by_id('futures_variety')
        input1.send_keys(p_Name)

        # 选择日期
        # driver.execute_script("arguments[0].value=arguments[1]", driver.find_element_by_id("inputDate"),
        #                       "2019-07-08")

        input3 = driver.find_element_by_id('btnSearch')

        time.sleep(1)
        input3.click()
        time.sleep(1)
        html = driver.page_source
        return html

    except:
        print('没能打开浏览器')
        return None

def parse_one_page(html):

    et = etree.HTML(html)
    ls1,ls2,ls3,ls4,ls5,ls6,ls7,ls8,ls9 = [],[],[],[],[],[],[],[],[]

    # 成交量龙虎榜
    title01 = et.xpath("//div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb1'][2]/div[@class='IFtit']/text()")
    ls1.append(title01)
    title11 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb1'][2]/div[@class='IFUlDiv']/ul[1]/li[@class='IFbb']/span/text()")
    ls1.append(title11)
    content1 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb1'][2]/div[@class='IFUlDiv']/ul[@id='ulCjl']/li//text()")
    for i1 in range(0, len(content1), 4):
        ls1.append( content1[i1:i1 + 4])

    # 多头持仓龙虎榜

    title02 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb2'][3]/div[@class='IFtit']/text()")
    ls2.append(title02)
    title12 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb2'][3]/div[@class='IFUlDiv']/ul[1]/li[@class='IFbb']/span/text()")
    ls2.append(title12)
    content2 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb2'][3]/div[@class='IFUlDiv']/ul[@id='ulDtcc']/li//text()")
    for i2 in range(0, len(content2), 4):
        ls2.append(content2[i2:i2 + 4])

    # 空头持仓龙虎榜

    title03 = et.xpath(
        "/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb2'][4]/div[@class='IFtit']/text()")
    ls3.append(title03)
    title13 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb2'][4]/div[@class='IFUlDiv']/ul[1]/li/span/text()")
    ls3.append(title13)
    content3 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@class='IFcb2'][4]/div[@class='IFUlDiv']/ul[@id='ulKtcc']/li//text()")
    for i3 in range(0, len(content3), 4):
        ls3.append(content3[i3:i3 + 4])

    # 净多头龙虎榜

    title04 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb1'][1]/div[@class='IFtit']/text()")
    ls4.append(title04)
    title14 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb1'][1]/div[@class='IFUlDiv']/ul[1]/li/span/text()")
    ls4.append(title14)
    content4 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb1'][1]/div[@class='IFUlDiv']/ul[@id='ulJdt']/li//text()")
    for i4 in range(0, len(content4), 4):
        ls4.append(content4[i4:i4 + 4])

    # 多头增仓龙虎榜

    title05 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][1]/div[@class='IFtit']/text()")
    ls5.append(title05)
    title15 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][1]/div[@class='IFUlDiv']/ul[1]/li[@class='IFbb']/span/text()")
    ls5.append(title15)
    content5 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][1]/div[@class='IFUlDiv']/ul[@id='ulDtzc']/li//text()")
    for i5 in range(0, len(content5), 4):
        ls5.append(content5[i5:i5 + 4])

    # 多头减仓龙虎榜

    title06 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][2]/div[@class='IFtit']/text()")
    ls6.append(title06)
    title16 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][2]/div[@class='IFUlDiv']/ul[1]/li/span/text()")
    ls6.append(title16)
    content6 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][2]/div[@class='IFUlDiv']/ul[@id='ulDtjc']/li//text()")
    for i6 in range(0, len(content6), 4):
        ls6.append(content6[i6:i6 + 4])

    # 净空头龙虎榜

    title07 = et.xpath(
        "/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][2]/div[@class='IFtit']/text()")
    ls7.append(title07)
    title17 = et.xpath(
        "/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][2]/div[@class='IFUlDiv']/ul[1]/li/span/text()")
    ls7.append(title17)
    content7 = et.xpath(
        "/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][2]/div[@class='IFUlDiv']/ul[@id='ulDtjc']/li//text()")
    for i7 in range(0, len(content7), 4):
        ls7.append(content7[i7:i7 + 4])

    # 空头增仓龙虎榜

    title08 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][3]/div[@class='IFtit']/text()")
    ls8.append(title08)
    title18 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][3]/div[@class='IFUlDiv']/ul[1]/li/span/text()")
    ls8.append(title18)
    content8 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][3]/div[@class='IFUlDiv']/ul[@id='ulKtzc']/li//text()")
    for i8 in range(0, len(content8), 4):
        ls8.append(content8[i8:i8 + 4])

    #空头减仓龙虎榜

    title09 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][4]/div[@class='IFtit']/text()")
    ls9.append(title09)
    title19 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][4]/div[@class='IFUlDiv']/ul[1]/li/span/text()")
    ls9.append(title19)
    content9 = et.xpath("/html/body/div[@id='page']/div[@class='main']/div[@class='framecontent']/div[@class='sitebody']/div[@class='maincont']/div[@class='IFcontentBox']/div[@class='content']/div[2]/div[@id='mainContent']/div[@id='otherList']/div[@class='IFcb2'][4]/div[@class='IFUlDiv']/ul[@id='ulKtjc']/li//text()")
    for i9 in range(0, len(content9), 4):
        ls9.append(content9[i9:i9 + 4])

    return [ls1,ls2,ls3,ls4,ls5,ls6,ls7,ls8,ls9]



def Main():
    Date = {
        '上海期货交易所':['沪银','沪铝','沪金','沥青','沪铜','燃油','热卷','镍','沪铅','螺纹钢','橡胶','锡','纸浆','沪锌'],
        '大连商品期货交易所':['豆一','豆二','玉米','玉米淀粉','乙二醇','铁矿石','焦炭','鸡蛋','焦煤','塑料','豆粕','棕榈','聚丙烯','PVC','豆油'],
        '郑州商品交易所':['郑煤','PTA','白糖','锰硅','硅铁','菜籽','菜粕','普麦','菜油','甲醇','晚籼','粳稻','玻璃','棉纱','红枣','郑棉','苹果']
    }


    for key,value in Date.items():
        for p in value:
            url = 'http://data.eastmoney.com/futures/dl/data.html'
            html = get_html(url,key,p)
            print('--- 正在解析网站 ---')
            try:
                ls = parse_one_page(html)
                for i in ls:
                    for j in i:
                        write_to_file(j,p)
                print(p,"---写入成功---")
            except Exception:
                print('爬虫出错了')

if __name__ == '__main__':

    while True:

        n = time.strftime('%H:%M:%S')

        print(n)

        time.sleep(1)

        if n == "16:31:00":
            path = 'D:\chromedriver\chromedriver.exe'

            driver = webdriver.Chrome(path)

            if os.path.exists('20190708期货数据') is False:

                new_time = time.strftime('%Y%m%d')

                os.mkdir('../'+'20190708期货数据')

                Main()

                os.rename('../20190708期货数据',r'D:\Code\Spider\Date\期货数据\\'+new_time+'20190708期货数据' )

            driver.close()

            break
AbrahamJIA
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
东方财富龙虎榜数据爬取requests
qq_39647804的博客
09-24 2738
先用开发者工具观察： 按F12，取观察翻页时候数据的变化： 在network中查看到，共3页，每页50行数据，然后去获取需要发送请求数据： 只需要改变页面数字，就可以获取到不同页面的数据，代码如下： url = 'http://datacenter-web.eastmoney.com/api/data/v1/get?' for page in range(1, 4): params = ( ('callback', 'jQuery11230593088028..
用ExcelVBA下载股票龙虎榜历史数据
m0_64899365的博客
01-29 638
利用VBA抓取股票龙虎榜数据
最新最全的免费股票数据接口--沪深A股深度分析投资参考数据API接口（八）
u012940698的博客
09-09 954
最新最全的免费股票数据接口
python爬取东方财富网，并将数据导入mysql
weixin_56003030的博客
10-19 1473
1.首先使用xpath获取网页中的表格数据，需要下载谷歌及与之版本相同的相关程序， 链接如下：ChromeDriver Mirror 我下载的正好是压缩过后就是如下程序： 2.然后就是连接mysql数据库，建立一个数据表，代码如下： #导入模块 fromseleniumimportwebdriver#导入模块 importtime fromlxmlimportetree importpymysql #链接MySQL数据库 conn=pymysql.connect(ho...
教你用python实现34行代码爬取东方财富网信息，爬虫之路，永无止境！！
热门推荐
weixin_54733110的博客
07-10 3万+
教你用python实现34行代码爬取东方财富网信息，爬虫之路，永无止境！！ 代码展示： 开发环境： windows10 python3.6 开发工具： pycharm weddriver 库： selenium、lxml、openpyxl、time 安装webdriver 首先要安装webdriver插件，本文以谷歌浏览器为例，点开谷歌浏览器，点击右上角三个点，然后点击帮助，然后点击关于Google Chrome，查看浏览器的版本，然后点击网址http://npm.taobao.org/mirrors/c
微信小程序销售龙虎榜：包含后端.zip
02-26
微信小程序——全栈小案例：销售龙虎榜 说明： [AppleScript] 纯文本查看 复制代码 # 在server目录下的server.js文件中配置mongodb数据库连接地址 # 在server目录下安装相关依赖 npm install # 在server目录下...
微信小程序完整demo：销售龙虎榜：包含后端
03-15
微信小程序——全栈小案例：销售龙虎榜 说明： [AppleScript] 纯文本查看 复制代码 ? 1 2 3 4 5 6 7 8 9 # 在server目录下的server.js文件中配置mongodb数据库连接地址   # 在server目录下安装相关依赖 npm ...
微信小程序源码带后台销售龙虎榜:包含后端
最新发布
11-18
微信小程序源码带后台销售龙虎榜：包含后端本资源系百度网盘分享地址
微信小程序-销售龙虎榜：包含后端源码
10-23
"销售龙虎榜"是一个典型的微信小程序应用，可能是用于展示商品销售排行榜或者销售业绩的系统。这个资源包包含了完整的后端源码，意味着你可以查看并理解整个系统的后台逻辑，这对于开发者来说是极有价值的。 首先，...
laravel-wechat：用于Laravel的微信SDK，基于overtruewechat
02-05
laravel-微信 用于Laravel / Lumen的微信SDK，基于 框架要求 overtrue / laravel-wechat：^ 5.1-> Laravel / Lumen> = 5.1 overtrue / laravel-wechat：^ 6.0-> Laravel / Lumen> = 7.0 安装 # overtrue/wechat 4.x...
PYthon 从东方财富网下载期货行情数据的代码
04-29
PYthon 从东方财富网下载内外盘期货数据的代码，下载后保存为CSV文件，方便下一次调用。 目前代码主要下载5分钟K线数据（约30日以内数据），以及日线级别（上市以来数据）
js的jQuery里的ajax爬虫
05-19
可以设置方式、请求次数、请求网址（会报错，我也不知道是怎么回事）。注：请求次数 不要太多，会耗CPU。
C# 实现的龙虎榜数据分析源码
02-16
C# winform 实现的龙虎榜数据分析源码,可以自己动手进行改造，实现自己需要的效果，可以参考
爬虫学习笔记（用python爬取东方财富网实验）
EddyPaul的博客
10-20 7166
参考文章以及视频：(11条消息) 爬虫实战 | 爬取东方财富网股票数据_简说Python的博客-CSDN博客、手把手教你从东方财富网上获取股票数据_哔哩哔哩_bilibili、【Python爬虫案例】如何用Python爬取股市数据，并进行数据可视化_哔哩哔哩_bilibili、python爬虫爬取豆瓣网评分最高的250部电影_哔哩哔哩_bilibili 分为3个步骤： 1. 爬取网页 2.逐一解析数据 3. 保存网页 1. 爬取网页 打开网站，找到需要的数据。 行情中心：国内快捷全面的股票、基金、
python-爬取东方财富网期货市场大商所数据
m0_50481455的博客
09-22 2329
python-爬取东方财富网期货市场大商所数据 注意因为是用谷歌爬取，所以要先下载好chromedriver 然后用到的第三方模块有os、time、openpyxl、webdriver 这里是将爬取下来的数据先存为txt，然后再转化为excel文件 def dashangsuo(): import os import time import openpyxl from selenium import webdriver # 打开chrome浏览器 resp
东方财富单页tables数据爬取selenium
qq_39647804的博客
09-22 687
爬取当天龙虎榜买入机构大于2并且涨停的股票 龙虎榜机构每日买卖网址：机构买卖每日统计 _ 数据中心 _ 东方财富网 首先将当前页面的数据获取下来： # 设置变量url url = 'http://data.eastmoney.com/stock/jgmmtj.html' # 设置发那个问的浏览器的路径,webdriver放在python目录下，不用设置路径 path = 'F:\\program\\ProgramData\\ancondas3\\chromedriver.exe' option =
怎么使用jquery中ajax来获取数据，
社会人
11-06 1万+
好久没有写鸡汤了，真的是三天不要学习，就不学习了，1玩小时定律你懂的，直接说怎么写是做好的，直说最简单的方式，】【1】 我一般习惯帮项目放在php环境的www目录下运行.如果知道php的都知道怎么回事，还是来说怎么安装这个吧 ,直接搜索WampServer这个就会看到百度软件中心，直接点击普通下载，下一部下一部的安装即可。打开，电脑又下角如果出现一个绿色的小标志表示成功。我们可以点击它帮语言切换成中
【JavaScript】jQuery Ajax
2301_77198532的博客
04-18 116
【代码】【JavaScript】jQuery Ajax。
jQuery 与 Ajax
Wzc0720的博客
10-28 3815
可以在不重新加载整个网页的情况下，对网页的某部分进行更新。可以在不重新加载整个网页的情况下，对网页的某部分进行更新。简单说是需要连接数据库的地方，但是连接数据库传输的信息量很少，用不着刷新整个页面，这。简单说是需要连接数据库的地方，但是连接数据库传输的信息量很少，用不着刷新整个页面，这。减轻服务器的负担，按需取数，可以最大程度的减少冗余请求和响应对服务造成的负担。减轻服务器的负担，按需取数，可以最大程度的减少冗余请求和响应对服务造成的负担。种类型的适合用 ajax，避免了属性整个页面带来的资源浪费。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值