Harvard dataverse数据库API批量下载教程_havard dataverse

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

关于API下载数据：Data Access API — Dataverse.org

关于PYTHON下载：Client Libraries — Dataverse.org

三、API下载

1.获取API令牌、服务器URL和数据集的持久标识

1. API令牌：

登录官网：https://dataverse.harvard.edu/

2. 服务器URL：

服务器URL通常是Dataverse实例的网址，例如https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/VIJFPK

这个网站，URL就是https://dataverse.harvard.edu

3. 数据集的持久标识：

点击数据集页面上的“Cite”按钮，在弹出的窗口中可以看到数据集的持久标识（Persistent Identifier），通常以“doi:”开头，例如我下面要下载的数据doi.org/10.7910/DVN/VIJFPK，它对应的Persistent Identifier就是doi:10.7910/DVN/VIJFPK

也可以在HL中点击元数据metadata中查看Persistent Identifier

4. 下载数据的版本（针对Harvard dataverse）：

点击数据的version，可以查看可以下载的版本

2. 下载：

1. 官网例子：

export API_TOKEN=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
export SERVER_URL=https://demo.dataverse.org
export PERSISTENT_ID=doi:10.70122/FK2/N2XGBJ

curl -L -O -J -H "X-Dataverse-key:$API_TOKEN" $SERVER_URL/api/access/dataset/:persistentId/?persistentId=$PERSISTENT_ID

官网的例子是连接到一个测试网站的，不能直接使用，原因是：其中的SERVER_URL不是我们要的。

此时改对URL后部分小文件已经可以使用了，但对于大文件，即便我们写对了也可竟会出现重定位然后SHELL脚本中断的情况，我们可以在curl后加上-v输出它的运行情况，如下图出现重定位，可以直接wget这个新路径（以下为我的SHELL脚本，可以输出我们需要的URL，也可以直接在脚本里启动下载）：

export API_TOKEN=*****************************************
export SERVER_URL=https://dataverse.harvard.edu
export PERSISTENT_ID=doi:10.7910/DVN/VIJFPK
export VERSION=4.1

# 发起curl请求获取重定向链接
# Store the response headers in a variable
response=$(curl -s -D - -H "X-Dataverse-key:$API_TOKEN" --insecure "$SERVER_URL/api/access/dataset/:persistentId/versions/$VERSION?persistentId=$PERSISTENT_ID")

# Extract the redirect URL from the Location header
download_link=$(echo "$response" | grep -i 'Location' | awk '{print $2}')

echo $download_link

2. python下载：（支持重定位）

所需库：request

关键：request.get

request.get的API认证：有些API使用API密钥作为认证方式。API密钥通常作为请求头的一部分发送。

import requests 
url = 'http://example.com/api' 
api_key = 'your_api_key' 
headers = {'Authorization': f'Bearer {api_key}'} 
response = requests.get(url, headers=headers)

下载程序：

import requests

def check_server_availability(url):
    '''检查URL是否可以被正常访问'''
    try:
        response = requests.get(url)
        if response.status_code == 200:
            print(f'{url} 可以正常访问')
        else:
            print(f'{url} 访问失败，状态码：{response.status_code}')
    except requests.RequestException as e:
        print(f'发生异常：{e}')

# 设置API令牌、服务器URL和数据集的持久标识
API_TOKEN = '*************************************'
SERVER_URL = 'https://dataverse.harvard.edu'
PERSISTENT_ID = 'doi:10.7910/DVN/VIJFPK'#'doi:10.7910/DVN/G6X1ZS'#
VERSION = '4.1'#'1.0'#



学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！



### 一、Python所有方向的学习路线



Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、全套PDF电子书



书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

![](https://img-blog.csdnimg.cn/img_convert/46506ae54be168b93cf63939786134ca.png)



### 四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)



### 五、实战案例



光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。



![](https://img-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)



### 六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。



![](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)  

![](https://img-blog.csdnimg.cn/img_convert/d2d978bb523c810abca3abe69e09bc1a.png)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**