2024年最全Harvard dataverse数据库API批量下载教程_havard dataverse(2)，2024年最新阿里Python开发面试解答

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1. 官网例子：

export API_TOKEN=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
export SERVER_URL=https://demo.dataverse.org
export PERSISTENT_ID=doi:10.70122/FK2/N2XGBJ

curl -L -O -J -H "X-Dataverse-key:$API_TOKEN" $SERVER_URL/api/access/dataset/:persistentId/?persistentId=$PERSISTENT_ID

官网的例子是连接到一个测试网站的，不能直接使用，原因是：其中的SERVER_URL不是我们要的。

此时改对URL后部分小文件已经可以使用了，但对于大文件，即便我们写对了也可竟会出现重定位然后SHELL脚本中断的情况，我们可以在curl后加上-v输出它的运行情况，如下图出现重定位，可以直接wget这个新路径（以下为我的SHELL脚本，可以输出我们需要的URL，也可以直接在脚本里启动下载）：

export API_TOKEN=*****************************************
export SERVER_URL=https://dataverse.harvard.edu
export PERSISTENT_ID=doi:10.7910/DVN/VIJFPK
export VERSION=4.1

# 发起curl请求获取重定向链接
# Store the response headers in a variable
response=$(curl -s -D - -H "X-Dataverse-key:$API_TOKEN" --insecure "$SERVER_URL/api/access/dataset/:persistentId/versions/$VERSION?persistentId=$PERSISTENT_ID")

# Extract the redirect URL from the Location header
download_link=$(echo "$response" | grep -i 'Location' | awk '{print $2}')

echo $download_link

2. python下载：（支持重定位）

所需库：request

关键：request.get

request.get的API认证：有些API使用API密钥作为认证方式。API密钥通常作为请求头的一部分发送。

import requests 
url = 'http://example.com/api' 
api_key = 'your_api_key' 
headers = {'Authorization': f'Bearer {api_key}'} 
response = requests.get(url, headers=headers)

下载程序：

import requests

def check_server_availability(url):
    '''检查URL是否可以被正常访问'''
    try:
        response = requests.get(url)
        if response.status_code == 200:
            print(f'{url} 可以正常访问')
        else:
            print(f'{url} 访问失败，状态码：{response.status_code}')
    except requests.RequestException as e:
        print(f'发生异常：{e}')

# 设置API令牌、服务器URL和数据集的持久标识
API_TOKEN = '*************************************'
SERVER_URL = 'https://dataverse.harvard.edu'
PERSISTENT_ID = 'doi:10.7910/DVN/VIJFPK'#'doi:10.7910/DVN/G6X1ZS'#
VERSION = '4.1'#'1.0'#

check_server_availability(SERVER_URL)
# 构建API请求URL
url = f'{SERVER_URL}/api/access/dataset/:persistentId/versions/{VERSION}?persistentId={PERSISTENT_ID}'
# 发起GET请求下载数据集
response = requests.get(url, headers={'Authorization': f'Bearer {API_TOKEN}'},allow_redirects=False)#关闭重定位，否则会非常慢


if response.status_code == 303:
    '''需要重定位的进程'''#重新定位后直接request.get即可，不用再API验证
    redirect_url = response.headers['Location']
    print('重定向到，'+redirect_url)
    # 发起第二次请求，手动处理重定向
    response = requests.get(redirect_url, stream=True)
    if response.status_code == 200:
        print('正在储存文件')
        with open('/home/lyn/DATA/AH/AH2019.zip', 'wb') as file:
            for chunk in response.iter_content(chunk_size=1024):
                if chunk:  # 过滤掉保持连接的新块
                    file.write(chunk)
        print("文件下载成功，保存为: /home/lyn/DATA/AH/AH2019.zip")
    else:
        print(f"下载失败，状态码: {response.status_code}")


# 检查响应状态码
elif response.status_code == 200:
    '''不需要重定位的进程'''
    # 将响应内容写入文件
    print('请求成功,正在下载')
    with open('/home/lyn/DATA/AH/AH2019.zip', 'wb') as file:
        file.write(response.content)
    print('数据集下载成功！')
else:
    print(f"下载失败，状态码: {response.status_code}")


### 最后

> **🍅 硬核资料**：关注即可领取PPT模板、简历模板、行业经典书籍PDF。  
> **🍅 技术互助**：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。  
> **🍅 面试题库**：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。  
> **🍅 知识体系**：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**