php协程curl,Swoole协程版curl源码剖析

< 一. 背景描述

2019年6月5日，Swoole作者宣布在4.4版本后开始初步支持协程版本的Curl。我在原来的研究分析中指出PHP内核对于curl部分的支持是建立在libcurl库上，swoole作者也表达因为PHP内核建立在libcurl基础上，造成了swoole无法直接对于libcurl内部的socket操作进行钩子化。那么，最新版的swoole是采用什么思路实现curl的协程化。

总体实现思路 : LibCurl的Socket操作不能Hook，那就Hook住PHP内核的curl函数组。

二. 知识背景

由于对于Swoole内核源码进行跟踪的过程中，会涉及到一些基础知识，如果在自行阅读源码中有阻碍的时候，可以补充一下相关知识：函数指针

位运算

哈希表

函数跳转表

三. 源码跟踪

3.1 PHP样例代码

为了带大家更好的进入这部分内核，我先提供一份swoole作者提供的PHP样例代码：

PHP

Copy

上面的代码执行结果如下：

177173 bytes

177173 bytes

177173 bytes

177173 bytes

177173 bytes

177173 bytes

177173 bytes

177173 bytes

177173 bytes

177173 bytes

Shell

Copy

通过查看上面的样例代码，我们可以看出Swoole运行时通过设置SWOOLE_HOOK_CURL常量来启动curl部分的运行时协程化。

3.2 Runtime初始化跟踪

我们首先跟踪SwooleRuntime模块里的enableCoroutine部分，这个函数的主要功能就是设置swoole运行时内部哪些部分启动协程化，我先提供这部分的关键代码：

1268 static PHP_METHOD(swoole_runtime, enableCoroutine)

1269 {

1270 zval *zflags = nullptr;

1271 /*TODO: enable SW_HOOK_CURL by default after curl handler completed */

1272 zend_long flags = SW_HOOK_ALL ^ SW_HOOK_CURL;

1273

1274 ZEND_PARSE_PARAMETERS_START(0, 2)

1275 Z_PARAM_OPTIONAL

1276 Z_PARAM_ZVAL(zflags) // or zenable

1277 Z_PARAM_LONG(flags)

1278 ZEND_PARSE_PARAMETERS_END_EX(RETURN_FALSE);

1279

1280 if (zflags)

1281 {

1282 if (Z_TYPE_P(zflags) == IS_LONG)

1283 {

1284 flags = SW_MAX(0, Z_LVAL_P(zflags));

1285 }

1286 else if (ZVAL_IS_BOOL(zflags))

1287 {

1288 if (!Z_BVAL_P(zflags))

1289 {

1290 flags = 0;

1291 }

1292 }

1293 else

1294 {

1295 const char *space, *class_name = get_active_class_name(&space);

1296 zend_type_error(“%s%s%s() expects parameter %d to be %s, %s given”, class_name, space, get_active_function_name(), 1, “bool or long”, zend_zval_type_name(zflags));

1297 }

1298 }

1299

1300 RETURN_BOOL(PHPCoroutine::enable_hook(flags));

1301 }

C

Copy

这个函数的主要功能是准备需要被内核HOOK的模块常量，也就是代码中的flags参数，相关具体解释如下：

1272行：从SW_HOOK_ALL常量中去除SW_HOOK_CURL常量所标志的bit位，代表默认不开启Curl部分

1274-1278行：解析PHP代码中函数调用传进的参数，参数数量最小为0、最大为2，均为可选参数。

1280-1298行：解析zflags类型，如果是布尔的false则把flags设置为0从而关闭所有协程模块。

1300行：这是非常关键的一行，这一行是在准备好flags参数之后进行协程相关函数钩子的设置。

3.3 协程钩子跟踪

Swoole的协程是一个异步并发模型，但是PHP内核的很多函数是同步模式，而且不能在并发模型中达到线程安全，所以swoole底层设计了钩子机制来拦截这些内核函数，把这些内核函数做到无缝运行时替换，从而把一些同步操变成协程调度的异步IO。

这里，我先把关键的代码贴出来，目前只贴关于这次添加的Curl部分。

1209 if (flags & SW_HOOK_CURL)

1210 {

1211 if (!(hook_flags & SW_HOOK_CURL))

1212 {

1213 replace_internal_function(ZEND_STRL(“curl_init”));

1214 replace_internal_function(ZEND_STRL(“curl_setopt”));

1215 replace_internal_function(ZEND_STRL(“curl_exec”));

1216 replace_internal_function(ZEND_STRL(“curl_setopt_array”));

1217 replace_internal_function(ZEND_STRL(“curl_error”));

1218 replace_internal_function(ZEND_STRL(“curl_getinfo”));

1219 replace_internal_function(ZEND_STRL(“curl_errno”));

1220 replace_internal_function(ZEND_STRL(“curl_close”));

1221 replace_internal_function(ZEND_STRL(“curl_reset”));

1222 }

1223 }

C

Copy

上面的代码可以生动的展现，目前swoole针对了9种PHP内核的Curl函数做了内核替换，这些函数在运行时都将不再走PHP内核的函数模板，而是走Swoole内核自定义的内核函数。

3.4 内核钩子实现跟踪

在上一节中，我们已经看到swoole内核会把相关内核函数做runtime替换，接下来我来仔细分析这部分内核替换原理，我先贴出核心代码：

1665 static void replace_internal_function(const char *name, size_t l_name)

1666 {

1667 real_func *rf = (real_func *) zend_hash_str_find_ptr(function_table, name, l_name);

1668 if (rf)

1669 {

1670 rf->function->internal_function.handler = PHP_FN(_user_func_handler);

1671 return;

1672 }

1673

1674 zend_function *zf = (zend_function *) zend_hash_str_find_ptr(EG(function_table), name, l_name);

1675 if (zf == nullptr)

1676 {

1677 return;

1678 }

1679

1680 rf = (real_func *) emalloc(sizeof(real_func));

1681 char func[128];

1682 memcpy(func, ZEND_STRL(“swoole_”));

1683 memcpy(func + 7, zf->common.function_name->val, zf->common.function_name->len);

1684

1685 ZVAL_STRINGL(&rf->name, func, zf->common.function_name->len + 7);

1686

1687 char *func_name;

1688 zend_fcall_info_cache *func_cache = (zend_fcall_info_cache *) emalloc(sizeof(zend_fcall_info_cache));

1689 if (!sw_zend_is_callable_ex(&rf->name, NULL, 0, &func_name, NULL, func_cache, NULL))

1690 {

1691 swoole_php_fatal_error(E_ERROR, “function ‘%s’ is not callable”, func_name);

1692 return;

1693 }

1694 efree(func_name);

1695

1696 rf->function = zf;

1697 rf->ori_handler = zf->internal_function.handler;

1698 zf->internal_function.handler = PHP_FN(_user_func_handler);

1699 rf->fci_cache = func_cache;

1700

1701 zend_hash_add_ptr(function_table, zf->common.function_name, rf);

1702 }

1779 static PHP_FUNCTION(_user_func_handler)

1780 {

1781 zend_fcall_info fci;

1782 fci.size = sizeof(fci);

1783 fci.object = NULL;

1784 fci.function_name = {{0}};

1785 fci.retval = return_value;

1786 fci.param_count = ZEND_NUM_ARGS();

1787 fci.params = ZEND_CALL_ARG(execute_data, 1);

1788 fci.no_separation = 1;

1789

1790 real_func *rf = (real_func *) zend_hash_find_ptr(function_table, execute_data->func->common.function_name);

1791 zend_call_function(&fci, rf->fci_cache);

1792 }

1793

C

Copy

这部分代码比较复杂，所以我主要给大家阐述这种内核替换的主要流程，具体代码阐述如下：

swoole在runtime内部维护了一个函数哈希表，叫做function_table。

1667-1672行：swoole内核function_table如果已经存在函数，则构建函数句柄并返回。

1674-1678行：从PHP内核全局函数表中查找是否已经存在函数，如果不存在则返回。

1680-1700行：根据从内核函数表中查询到的函数名，构造函数模板，新的函数名已swoole_开头。

1701行：向swoole内核的函数表中添加函数模板，函数名为内核函数名，函数栈模板使用swoole内核创建的。