明而决之

上一篇，解决了数据持续插入更新的问题。在一些场景下，如果数据量较大，需要跑多个任务调用接口插入，但是逐个跑任务又太久，又该怎么提高执行速度呢？本文就来探讨下怎么使用多线程来完成多任务的更新操作。

接上一篇，已经解决了单向的数据传输问题，即：将 MySQL 的数据写入到多维表。但是如果需求具有持续性，换句话说，每隔一段时间需要同步一次数据，今天需要同步数据，明天还需要同步数据，又该怎么办？本文针对这两种同步策略展开探讨下如何持续同步数据。

本文完整探讨了使用 MySQL 数据库+ Pandas 库 + 飞书应用实现了业务的一个数据需求：将某产品的用户数据同步到飞书表上。整个流程涉及了五大步骤：目标分析：将需求数据同步到飞书多维表协作创建飞书数据表：分析需求字段的类型、数据格式等查询数据库数据：连表查询数据并对数据值和字段名进行格式化Pandas处理数据：将格式化的数据转为 API 需求的请求体的格式写入飞书多维表：调用飞书新增多行记录的 API，将数据写入飞书多维表

作为飞书多维表的深度使用者，经常需要将一些数据库的数据同步到多维表上，在数据写入之前，一般需要新建数据表和字段。当通过网页端界面新建字段时，如果字段少，还能接受手动一个个创建，不过一旦字段比较多，操作起来特别繁琐，机械地重复着，有点怀疑人生。这种情况下，急需一个更加自动化的方式来解决！这不，飞书官方便提供了这样的 API 方便我们快速建数据表和字段。

本文探讨了如何通过 API 创建多维表。具体操作如下：获得文件夹的权限应用配置：在应用后台开启机器人的能力创建群组：专用于文件夹授权群组配置：添加应用机器人文件夹授权：分享给新建的群组使用 API 创建多维表其中，应用和群组配置可以视为一次性操作，后续只需要进行文件夹给群组授权，便可以使用 API 创建多维表。

本文探讨了如何通过 API 创建文件夹并且给指定的用户开通协作权限。具体操作如下：申请权限：创建云空间文件夹、通过手机号或邮箱获取用户 ID调用获取 access_token 的 API调用创建文件夹的 API调用获取用户 ID 的 API调用添加协作者的 API思路相对比较简单，但实际操作比较繁琐。

前面入库阿里云 MaxCompute 的数据都是读取之后直接写入，保留数据最新的状态，MaxCompute 表有一个分区功能，可以自行定义分区。我们可以使用 MaxCompute 表的分区功能，每天写入一个分区，保留每天每条数据的状态。表单的分区功能，除了存储每天数据明细信息，也可以根据数据中的某个维度做分区。本文重点来探讨下怎么建分区表以及怎么写入分区表。

本文探讨了怎么通过 PyODPS 的 DataFrame 将飞书数据入库，主要涉及四点：新增 PyODPS 的 DataFrame 的数据类型映射、定义 astype、将飞书数据转为 PyODPS 的 DataFrame 并入库和定制化中新增 astype 的修改。PyODPS 的 DataFrame 更多用于数据科学计算，方便将分析的结果数据保存到表中，此处仅用它作为一个中间桥梁，将 pandas 的 DataFrame 和数仓表连接起来。

本文结合前面两个章节：MySQL 入库的通用版和定制版，探讨了如何将飞书多维表的数据入库到阿里云 Maxcompute 的数据表，并实现通用版和定制版的逻辑。首先分析了 MySQL 和 MaxCompute 之间的数据类型差异，并提到了处理函数extract_key_fields()中需要修改的逻辑，以适应MaxCompute的配置需求。然后探讨了建表和写表的方法，建表分为通过创建表Schema再建表和直接使用字段名和字段类型创建表两种方法。写表也有两种方法，一种是转为阿里云的 DataFrame，

通用版能解决百分之八九十的任务，剩下的部分任务需要进行定制。先说明通用版本和定制版本有什么不同，通用版本就是只管大的数据类型，将数据处理为对应的类型入库，而定制版本会考虑局部列的数据类型，。举个简单的例子，比如说飞书编号为 2 的数据类型，它实际上包含了整数和小数，在通用版本，会把它处理为 double 或 float 类型以便保留小数的精度，但是定制版本可能会把整数列单独处理，入库为 int 数据类型类型。

本文完成了飞书多维表数据写入 MySQL 数据库的通用版本代码的开发，经过对代码进行重构，把三组核心关系：飞书列名和数据类型、飞书列名和入库表单字段名、飞书数据类型和入库字段的数据类型解耦出来，使得代码通用性更强。

本文介绍了如何处理飞书的 28 中数据类型，以及通过 sqlalchemy 库将处理好的数据入库。在探索一个未知的领域时，一般会从个别典型的案例先入手，随着认知的不断深入，逐渐有全局观，便会考虑通用案例，然后在通用案例下，再考虑局部的需求定制。本文是一个比较全面的案例，更多的是在提供一个解决思路，相关代码的可拓展性较差，下一遍介绍另外一个飞书的 API 读取多维表的元数据来优化可拓展性问题，使得代码变得更加通用。下下篇则在通用的基础上再做定制化需求。

整体上，我们可以分两部分来查看整个数据结构：第一部分是外层的结构，第二部分是“fields”的结构。第一部分是通用的，而第二部分各个数据类型各有不同，具体详见文章说明。

本文探讨了三种处理多维表筛选数据的思路：- 思路一：获取所有数据，使用 pandas 进行数据筛选；- 思路二：调查询记录接口时，传递 filter 参数进行数据筛选；- 思路三：在多维表新建视图进行筛选，然后指定视图，读取所有数据。

使用 Python 读取多维表分页，需要传递“page_token”参数。第一页“page_token”参数为空字符串，第二页开始从上一页的响应体提取“page_token”的值。使用 Python 实现，可以通过三种方式读取所有分页的数据：while 循环读取、for 循环读取和内函数递归读取。● while 循环：使用has_more参数，直到has_more=False跳出循环；● for 循环：使用total参数，结合page_size计算循环次数；● 内函数递归：使用has_more参数

使用 Python 自动读取多维表主要分两步：第一步是取应用的 app_id 和 app_secret 获取临时 tenant_access_token，传递给第二步；第二步是取 tenant_access_token 加上 多维表的标识（app_token、table_id）读取数据。

本文介绍如何通过飞书 API 读取飞书多维表的数据，从创建应用到发布，再到 API 调试。详细流程如下：1、创建应用2、申请权限，发布版本3、创建多维表，并设置应用操作多维表的权限4、查看接口文档，并调试 API。