BigQuery 跨境数据传输方案构建v1.0

需求背景；

Google Cloud BigQuery 数据跨境传输至阿里云国内数仓；

日增量同步数据需求预计达到 2G/日；

问题挑战：

跨境传输涉及“跨境防火墙” 限制；

日增量同步数据量较大，基于互联网传输需要关注数据传输稳定性；

方案构建：

为实现构建目标，整个方案构建分两个步骤；

1. BigQuery 数据导出

2. 跨境传输数据至国内

方案一：基于BigQuery REST API 调取数据方案

BigQuery 数据导出

BigQuery REST API是Google Cloud提供的一种用于与BigQuery进行交互的编程接口。通过使用BigQuery REST API，可以实现对BigQuery数据的读取操作。

要使用BigQuery REST API读取BigQuery视图，需要进行以下步骤：

1. 创建Google Cloud项目并启用BigQuery API：在Google Cloud控制台中创建一个新的项目，并确保已启用BigQuery API。这可以通过导航到"API和服务" -> "库"，然后搜索并启用BigQuery API来完成。

2. 创建服务账号并获取凭据：在Google Cloud控制台中，导航到"API和服务" -> "凭据"，然后创建一个新的服务账号。为该服务账号分配适当的角色，以便具有读取BigQuery视图的权限。创建服务账