python 金数据API调用数据

白狮

于 2019-10-31 16:57:33 发布

阅读量1.4k

点赞数 1

分类专栏： python之路文章标签： python 金数据 pandas api 爬虫

本文链接：https://blog.csdn.net/qq_41568129/article/details/102839349

版权

本文介绍了如何使用Python调用金数据API来获取之前收集的数据。面临的问题包括：curl命令的Python转换、数据无字段名、以及数据分页限制。解决方案包括解决中文乱码、通过已知数据对比获取字段名、以及递归获取超过50条的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：

前期使用金数据收集数据，现在使用金数据提供的API抓取之前的数据

问题：

金数据提供了curl和ruby示例，没有提供python版本的示例。
得到的数据只有数据，没有字段名
只能一次性获取前五十条数据，超过五十条只能逐一获取

curl用法：

curl -u api_key:api_secret https://jinshuju.net/api/v1/forms/ex27t2

中文乱码问题：

curl -u key:secret https://jinshuju.net/api/v1/forms/XXX/entries|iconv -f utf-8 -t gbk

python:

问题解决：

认证问题：request(auth=(user,password)) user,password 并不是按照官方说的放在heads里面
没有字段名问题：事先下载了一下表格，各取一条数据，然后通过数据比对获取相应的字段名。
获取限制问题：超过50条数据，需要递归获取新的data

import requests
import json
import pandas as pd



def get_data():
    headers = {'user-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36',
          'Authorization':'Basic Aut

最低0.47元/天解锁文章