批量抓取东方财富EastMoney的宏观经济数据

本文介绍如何利用Python批量抓取东方财富网站的宏观经济数据,包括CPI、PPI等,通过分析页面发现数据接口,从而提高抓取效率。
摘要由CSDN通过智能技术生成

最近再找宏观数据,找了Tushare的宏观数据但是里面的数据不全,只有CPI和PPI的数据,其他的如存款准备金,PMI等数据都没有。所以决定自己找数据。

现在看来东方财富的宏观数据还是在更新的,只是只有最近3年的,但总比没有强就开干。

先网上看看有没有现成的代码可以复制。但是发现都是使用selenium模拟页面的方式。这样对于页面效率不高。

在分析其页面发现其有数据接口。

有数据接口就easy了。付代码

# -*- coding: utf-8 -*-
"""
Created on Fri Mar 15 15:20:33 2021

@author: LUMIN
"""

import json
import requests
import pandas as pd
from sqlalchemy import create_engine
import pymysql


em_base = [
    {'name': 'cpi_em', 'mkt': '19',
             'col': ['date', 'nt_val', 'nt_yoy', 'nt_mom', 'nt_accu', 'town_val', 'town_yoy', 'town_mom', 'town_accu',
                     'cnt_val', 'cnt_yoy', 'cnt_mom', 'cnt_accu']},
           {'name': 'pmi_em', 'mkt': '21', 'c
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值