谷歌GDELT数据下载代码

对代码进行了修改，从python2调整为python3，并对代码进行了优化。20210515

在上一篇博客谷歌GDELT数据说明中，我对GDELT数据进行了说明，在这篇文档中直接上代码，有需要的可以直接使用并下载数据，有问题欢迎留言。

GDELT提供了好几种数据，包括gkg、event、mentions等数据，我在代码中下载的是event数据，可以自己修改原始链接，代码应该可以通用，原理是一样的。

###需要注意，数据量较大，截止到2017.7.18全部下载下来需要150多GB，所以下载的时候最好下载到硬盘中，免得电脑内存不足。

---

# -*-coding:utf-8-*-
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import zipfile
import sys
import multiprocessing
import random
import os

path = os.path.split(os.path.abspath(__file__))[0] + os.sep  # 获取当前文件所在目录
data_folder = path + 'data' + os.sep

def get_url_list(url):
    '''获取页面下的所有url，保存到url_list.txt中，并返回url_list'''
    html = requests.get(url).text
    soup = BeautifulSoup(html, 'lxml')
    url_list = []
    for li in soup.body.ul.find_all('li'):
        href = 'http://data.gdeltproject.org/events/' + li.a['href']
        url_list.append(href)
    print(len(url_list))
    with open(path + 'url_list.txt', 'w') as f:
        for url in url_list[3:-1]:  # 前三个url和最后一个不是我们需要的数据，故跳过
            f.write(url + '\n')
    return url_list[3:-1]

def get_url_data(url):
    global data_folder
    if not os.path.exists(data_folder):
        os.mkdir(data_folder)  # 若文件夹不存在，则主动创建
    filename = url.split('/')[-1]  # 从url链接中获取文件名称
    filepath = data_folder + filename
    if os.path.exists(filepath) or os.path.exists(filepath[:-4]):  # 若文件已下载，则跳过
        print('文件%s已存在' % filename)
        return
    print(filename)
    try:
        data = requests.get(url)
        with open(filepath, "wb") as f:
            f.write(data.content)
        fz = zipfile.ZipFile(filepath, 'r')
        fz.extract(fz.namelist()[0], data_folder) #解压下载下来的zip文件夹
        fz.close()
        if os.path.exists(filepath):
            os.remove(filepath)  # 删除zip文件夹，只保存解压后的数据
    except Exception as e:
        print(e)
        log = open(path + 'log.txt', 'a')
        log.write(url + '\n')

def download():
    url = 'http://data.gdeltproject.org/events/index.html'
    print('获取文件链接', datetime.now())
    url_list = get_url_list(url)
    print('下载文件数据', datetime.now())
    pool = multiprocessing.Pool()  # 开启进程池，使用多进程提高下载速度
    pool.map(get_url_data, url_list)

if __name__ == '__main__':
    download()