需求:
- 前期使用金数据收集数据,现在使用金数据提供的API抓取之前的数据
问题:
curl用法:
curl -u api_key:api_secret https://jinshuju.net/api/v1/forms/ex27t2
中文乱码问题:
curl -u key:secret https://jinshuju.net/api/v1/forms/XXX/entries|iconv -f utf-8 -t gbk
python:
问题解决:
- 认证问题:request(auth=(user,password)) user,password 并不是按照官方说的放在heads里面
- 没有字段名问题:事先下载了一下表格,各取一条数据,然后通过数据比对获取相应的字段名。
- 获取限制问题:超过50条数据,需要递归获取新的data
import requests
import json
import pandas as pd
def get_data():
headers = {'user-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36',
'Authorization':'Basic Aut