Porter：高性能的PHP数据导入框架

邹滢朦

于 2024-08-16 08:28:57 发布

阅读量939

点赞数 9

本文链接：https://blog.csdn.net/gitblog_00950/article/details/141241261

版权

Porter：高性能的PHP数据导入框架

Porter:lipstick: Durable and asynchronous data imports for consuming data at scale and publishing testable SDKs.项目地址:https://gitcode.com/gh_mirrors/por/Porter

Porter是一个强大的PHP数据导入工具，专为处理大规模数据和构建可测试的SDK而设计。她能从API、网页抓取或其他任何来源获取数据，并以记录集合的形式提供，鼓励一次性处理一个记录，而不是将整个数据集加载到内存中。Porter的强大之处在于其默认提供的耐用性特性，能够自动、透明地从间歇性网络错误中恢复。

项目介绍

Porter的核心是其接口三角——提供商（Providers）、资源（Resources）和连接器（Connectors），这使得我们可以发布可测试的SDK，并且很好地适应了API和HTTP端点。例如，对于像GitHub这样的典型API，可以定义提供商为GitHubProvider，资源为GetUser或ListRepositories，连接器可能是HttpConnector。

Porter支持借助PHP 8.1的纤维（fibers）实现的异步导入，允许并发启动、暂停和恢复多个导入任务。通过异步处理，我们可以尽可能快地导入数据，将应用程序从受网络限制（慢）转变为受CPU限制（最优）。它还提供了节流功能，确保我们不会超过对等连接或吞吐量限制。

技术分析

Porter利用了PHP中的迭代器和生成器，实现内存高效的数据处理，即使面对大数据集，也能避免一次性加载带来的内存压力。异步导入特性结合纤维，实现了CPU密集型的数据处理，消除了网络延迟瓶颈。此外，Porter的耐用性特性包括自动重试失败的数据获取，以防止因短暂的网络问题导致的中断。

Porter还支持缓存，可以在每个获取操作级别上使用PSR-6兼容的缓存，并且可以通过子导入功能自动合并两个或多个相关联的数据集。