用 Pandas 做 ETL，不要太快

最新推荐文章于 2022-08-21 16:52:00 发布

somenzz

最新推荐文章于 2022-08-21 16:52:00 发布

阅读量1.5k

点赞数 1

文章标签： python java 大数据编程语言数据分析

本文链接：https://blog.csdn.net/somenzz/article/details/123080909

版权

久违了，朋友们，来篇干货。

ETL 的全称是 extract, transform, load，意思就是：提取、转换、加载。ETL 是数据分析中的基础工作，获取非结构化或难以使用的数据，把它变为干净、结构化的数据，比如导出 csv 文件，为后续的分析提供数据基础。

本文对电影数据做 ETL 为例，分享一下 Pandas 的高效使用。完整的代码请在公众号「Python七号」回复「etl」获取。

这里从电影数据 API 请求数据。在开始之前，你需要获得 API 密钥来访问 API可以在这里^[1]找到获取密钥的说明。

一旦你有了密钥，需要确保你没有把它直接放入你的源代码中，因此你需要创建 ETL 脚本的同一目录中创建一个名为 config.py 的文件，将此放入文件：

#config.py
api_key = <YOUR API KEY HERE>

如果要将代码发布到任何地方，应该将 config.py 放入 .gitignore 或类似文件中，以确保它不会被推送到任何远程存储库中。

还可以将 API 密钥存储为环境变量，或使用其他方法隐藏它。目标是保护它不暴露在 ETL 脚本中。

现在创建一个名为 tmdb.py 的文件，并导入必要的依赖：

import pandas as pd
import requests
import config

向 API 发送单个 GET 请求的方法。在响应中，我们收到一条 JSON 记录，其中包含我们指定的 movie_id：

API_KEY = config.api_key
url = 'https://api.themoviedb.org/3/movie/{}?api_key={}'.format(movie_id, API_KEY)

r = requests.g

关注