swoole_table 实现原理剖析

最新推荐文章于 2023-08-09 16:04:49 发布

weixin_34088598

最新推荐文章于 2023-08-09 16:04:49 发布

阅读量256

点赞数

文章标签： php 数据结构与算法数据库

原文链接：https://segmentfault.com/a/1190000010853095

版权

Swoole项目从 2012 年推出到现在已经有 5 年的历史，现在越来越多的互联网企业使用Swoole来开发各类后台应用。受限于 PHP 的ZendVM实现，PHP 程序无法使用多线程进行编程开发。应用程序中实现并行处理只能使用多进程模式。

做过多进程开发的 PHPer 都知道进程的内存隔离性。在程序中声明的global全局数组，实际上并不是数据共享的，在一个进程内修改数组的值，在另外一个进程中是无效的。

$array = array();

function process1() {
    global $array;
    $array['test'] = 'hello world';
}

function process2() {
    global $array;
    //这里读取不到test的值
    var_dump($array['test']);
}

这个进程隔离性给程序的开发带来的很多烦恼。比如实现一个聊天室程序，用户A在进程1中处理，用户B在进程2中处理，A和B如果在同一个group，这个group在多线程环境中直接用set表示，A和B加到对应group的set中即可。但多进程环境中，用 PHP 的array无法实现。一般可以有2个思路解决问题：

进程间通信，可以使用管道，向另外一个进程发送请求，获取数据的值
借助存储实现，如Redis、MySQL、文件

这2个方案虽然可以实现，但都存在明显的缺点。方案一实现较为复杂，开发困难。方案二实现简单，但存在额外的IO消耗，不是纯内存操作，有性能瓶颈。基于/dev/shm实现内存文件读写的方案，是一个不错的方案，但需要注意锁的操作，读写时需要额外的系统调用开销。

想要解决这个问题，必须实现一个基于共享内存的数据结构。在 PHP 中也有一些扩展模块可以使用。如APCu、Yac、shm_put_var/shm_get_var

Yac：性能高，但由于底层实现的限制，无法保证一致性。只能作为Cache来使用
APCu：支持Key-Value式数据的读写，缺点是实现简单粗暴，锁的粒度太粗。高并发时存在大量锁的争抢，性能较差
shm 系列函数：这个方案虽然能实现共享内存操作，但实际上底层实现非常简陋。一方面底层根本没有加锁，如果你要在并发环境中使用，需要自行实现锁的操作。另外，底层实际上是一个链表结构，数据较多时，查询性能非常差

swoole_table 介绍

为了解决多进程程序中数据共享的难题，Swoole扩展提供了swoole_table数据结构。Table的实现非常精巧，使用最方便，同时性能也是最好的。

$table = new swoole_table(1024);
$table->column('id', swoole_table::TYPE_INT, 4);
$table->column('name', swoole_table::TYPE_STRING, 64);
$table->column('num', swoole_table::TYPE_FLOAT);
$table->create();

$table->set('tianfenghan@qq.com', array('id' => 145, 'name' => 'rango', 'num' => 3.1415));
$table->set('350749960@qq.com', array('id' => 358, 'name' => "Rango1234", 'num' => 3.1415));
$table->set('hello@qq.com', array('id' => 189, 'name' => 'rango3', 'num' => 3.1415));

$ret1 = $table->get('350749960@qq.com');
$ret2 = $table->get('tianfenghan@qq.com');

$table->del('350749960@qq.com');

Table实现了一个二维Map结构，有点像 PHP 的二维数组，简单易用。在最新的1.9.19中还可以使用ArrayAccess接口以array的方式操作Table：

$table = new swoole_table(1024);
$table->column('id', swoole_table::TYPE_INT);
$table->column('name', swoole_table::TYPE_STRING, 64);
$table->column('num', swoole_table::TYPE_FLOAT);
$table->create();

$table['apple'] = array('id' => 145, 'name' => 'iPhone', 'num' => 3.1415);
$table['google'] = array('id' => 358, 'name' => "AlphaGo", 'num' => 3.1415);

$table['microsoft']['name'] = "Windows";
$table['microsoft']['num'] = '1997.03';

var_dump($table['apple']);
var_dump($table['microsoft']);

$table['google']['num'] = 500.90;
var_dump($table['google']);

`Table`的优势

性能极高，全部是纯内存操作，没有任何系统调用和IO的开销。在酷睿I5机器上测试，Table单进程单线程每秒可完成写操作300万次，读操作每秒可完成150万次。在24核服务器上，理论上每秒可实现数千万次读写操作。
使用数据行锁，底层使用了数据行锁自旋锁。多进程并发执行时，读写不同的key不存在锁的争抢问题。只有同一CPU时间读写同一个Key才需要进行加锁操作。而且Table本身锁的粒度非常小，get、set操作内部只有少量内存读写的指令，可以在数百纳秒内完成操作。

`Table`的局限性

Key最大长度不得超过64字节
必须在创建前规划好容量，一旦写满后，再set新的数据会出现内存分配导致失败，无法实现动态扩容

因此使用Table时尽可能地设置较大的内存尺寸，这样虽然会带来一定的内存浪费，但实际上现代服务器内存非常廉价，这个局限性在实际项目中的问题并不大。