每秒解析千兆字节的JSON解析器开源，秒杀一大波解析器！

近日，GitHub开源了一JSON解析器simdjson，通过与其他常用解析器的对比实验，结果显示，simdjson的解析速度达到2.2GB/s，远远秒杀其他解析器，在下文中，我们将为大家详细介绍simdjson。以下全文为simdjson在GitHub上的文档。

\n

JSON文档在互联网上无处不在，服务器花费大量时间来解析这些文档。我们希望在进行完全验证（包括字符编码）的同时尽可能使用常用的SIMD指令来加速JSON的解析。

\n

一些性能结果

\n

相比最先进的解析器（如RapidJSON），我们可能使用四分之一或更少的指令，也只有sajson的一半。据我们所知，simdjson是第一个在商用处理器上以每秒千兆字节速度运行的完全验证JSON解析器。

\n

\n

在Skylake处理器上，各种解析器解析twitter.json文件的速度（以GB/s为单位）如下所示。

\n

\n

基本要求

\n

• \n
• \n

  通过Visual Studio 2017或更高版本支持Linux、macOS以及Windows等平台；

  \n\n
• \n

  带有AVX2的处理器；

  \n\n
• \n

  支持最近的C++编译器（例如，GNU GCC或LLVM CLANG或Visual Studio 2017），我们假设是C++ 17，GNU GCC 7或更高版本，或者LLVM的clang 6或更高版本；

  \n\n
• \n

  提供一些基准测试脚本，可以是bash和其他常用的实用命令程序，但是是可选的。

  \n\n

\n

许可

\n

代码采用Apache License 2.0许可。

\n

在Windows下，我们使用windows/dirent_portable.h文件（在我们的库代码之外）构建了一些工具：基于自由的MIT许可。

\n

代码示例

\n

#include \u0026quot;simdjson/jsonparser.h\u0026quot;\n\n/...\n\nconst char * filename = ... //\n\n// use whatever means you want to get a string of your JSON document\nstd::string_view p = get_corpus(filename);\nParsedJson pj;\npj.allocateCapacity(p.size()); // allocate memory for parsing up to p.size() bytes\nbool is_ok = json_parse(p, pj); // do the parsing, return false on error\n// parsing is done!\n// You can safely delete the string content\nfree((void*)p.data());\n// the ParsedJson document can be used here\n// js can be reused with other json_parse calls.\n

\n

如果你不介意为每个新的JSON文档分配内存，也可以使用更简单的API：

\n

#include \u0026quot;simdjson/jsonparser.h\u0026quot;\n\n/...\n\nconst char * filename = ... //\nstd::string_view p = get_corpus(filename);\nParsedJson pj = build_parsed_json(p); // do the parsing\n// you no longer need p at this point, can do aligned_free((void*)p.data())\nif( ! pj.isValid() ) {\n    // something went wrong\n}\n

\n

用法

\n

简单的头文件

\n

头文件可以看一下代码库的“singleheader”，用法可以看一下“amalgamation_demo.cpp”文件。这里不要求使用特定的构建系统：只需要将文件复制到项目中的路径中即可。然后，你就可以包含它们：

\n

#include \u0026lt;iostream\u0026gt;\n#include \u0026quot;simdjson.h\u0026quot;\n#include \u0026quot;simdjson.cpp\u0026quot;\nint main(int argc, char *argv[]) {\n  const char * filename = argv[1]; \n  std::string_view p = get_corpus(filename);\n  ParsedJson pj = build_parsed_json(p); // do the parsing\n  if( ! pj.isValid() ) {\n    std::cout \u0026lt;\u0026lt; \u0026quot;not valid\u0026quot; \u0026lt;\u0026lt; std::endl;\n  } else {\n    std::cout \u0026lt;\u0026lt; \u0026quot;valid\u0026quot; \u0026lt;\u0026lt; std::endl;\n  }\n  return EXIT_SUCCESS;\n}\n

\n

注意：在某些环境中，可能需要预编译simdjson.cpp，而不是包含它。

\n

在Linux或macOS等平台上使用旧版Makefile

\n

要求：最近的clang（或gcc）和make。我们建议至少使用GNU GCC/G ++ 7或LLVM clang 6，Linux或macOS系统。

\n

测试：

\n

make\nmake test\n

\n

运行基准测试：

\n

make parse\n./parse jsonexamples/twitter.json\n

\n

在Linux上，parse命令提供了性能计数器的详细分析。

\n

运行其他作为比较的基准测试（使用其他解析器）：

\n

make benchmark\n

\n

使用Linux或macOS等平台上的CMake

\n

要求：需要最新版本的cmake，在macOS上，安装cmake的最简单方法可能是使用brew。

\n

brew install cmake\n

\n

你需要一个像clang或gcc这样的新版编译器。我们建议至少使用GNU GCC/G ++ 7或LLVM clang 6。例如，你可以使用brew安装最新的编译器：

\n

brew install gcc@8\n

\n

可选：你需要通过设置CC和CXX变量告诉cmake你希望使用哪个编译器。在bash中，你可以使用export CC = gcc-7和export CXX = g+±7等命令。

\n

构建：在项目代码库中执行以下命令：

\n

mkdir build\ncd build\ncmake ..\nmake\nmake test\n

\n

CMake将会构建出一个库。默认情况下，它构建的是一个共享库（例如，Linux上的libsimdjson.so）。

\n

你可以构建一个静态库：

\n

mkdir buildstatic\ncd buildstatic\ncmake -DSIMDJSON_BUILD_STATIC=ON ..\nmake \nmake test\n

\n

在某些情况下，你可能希望指定编译器，尤其是当系统默认编译器太旧的情况下。你可以按以下步骤操作：

\n

brew install gcc@8\nmkdir build\ncd build\nexport CXX=g++-8 CC=gcc-8\ncmake ..\nmake\nmake test\n

\n

通过Visual Studio在Windows上使用CMake

\n

我们假设你拥有一台至少装有Visual Studio 2017的普通Windows PC，并支持AVX2的x64处理器（2013 Haswell或更高版本）。

\n

• \n
• \n

  从GitHub获取simdjson代码，例如，使用GitHub Desktop克隆它。

  \n\n
• \n

  安装CMake。在安装时，请确保可以从命令行使用cmake。请选择最新版本的cmake。

  \n\n
• \n

  在simdjson中创建一个子目录，例如VisualStudio。

  \n\n
• \n

  在shell中转到这个新创建的目录。

  \n\n
• \n

  在shell中键入cmake -DCMAKE_GENERATOR_PLATFORM=x64 …（或者，如果要构建DLL，可以使用命令行cmake -DCMAKE_GENERATOR_PLATFORM=x64 -DSIMDJSON_BUILD_STATIC=OFF …）。

  \n\n
• \n

  最后一个命令在新创建的目录（例如simdjson.sln）中创建了一个Visual Studio解决方案文件。在Visual Studio中打开这个文件。你现在应该能够构建项目并运行测试。例如，在“Solution Explorer”窗口中，右键单击“ALL_BUILD”，并选择“Build”。要测试代码，仍然在Solution Explorer窗口中，选择RUN_TESTS，再选择Build。

  \n\n

\n

工具

\n

• \n
• \n

  json2json mydoc.json解析文档，构造模型，然后将结果输出到标准输出。

  \n\n
• \n

  json2json -d mydoc.json解析文档，构造模型，然后将模型输出到标准输出。格式在随附的文件tape.md中有描述。

  \n\n
• \n

  minify mydoc.json缩小JSON文档，将结果输出到标准输出。缩小意味着删除不必要的空格。

  \n\n

\n

范围

\n

我们提供了一个非常快的解析器。它根据各种规格对输入进行完全的验证。解析器会构建一个不可变（只读）的DOM（文档对象模型），供后续访问。

\n

为了简化工程，我们做了一些假设。

\n

• \n
• \n

  支持UTF-8（以及ASCII），没有别的（没有Latin，没有UTF-16）。我们不认为这是一个真正的限制，因为我们不认为会有哪个严肃的应用程序需要在没有ASCII或UTF-8编码的情况下处理JSON数据。

  \n\n
• \n

  我们将字符串存储为以NULL作为终止符的C字符串。因此，我们假设字符串中不包含NULL字符。

  \n\n
• \n

  我们假设支持AVX2，这在AMD和英特尔生产的所有最新主流x86处理器中都可用。不支持非x86处理器，尽管我们可以支持。我们计划支持ARM处理器。

  \n\n
• \n

  如果发生故障，我们只会报告故障，而不会指出问题的性质。

  \n\n
• \n

  在规范允许的情况下，我们允许对象内存在重复的key。

  \n\n
• \n

  性能针对跨越几千字节到几兆字节的JSON文档进行了优化：解析很多小型JSON文档和一个大JSON文档的性能问题是不一样的。

  \n\n

\n

我们的目标不是要提供通用的JSON库。像RapidJSON这样的库不仅提供了解析功能，它还可以用来生成JSON，并提供了各种其他方便的功能。我们只解析文档。

\n

特性

\n

• \n
• \n

  不需改输入的字符串。（像sajson和RapidJSON这样的解析器使用输入字符串作为缓冲区。）

  \n\n
• \n

  将整数和浮点数解析为单独的类型，这样可以支持[-9223372036854775808,9223372036854775808]区间的64位整数，就像Java的long或C/C++的long long。在区分整数和浮点数的解析器中，并非所有解析器都支持64位整数。（例如，sajson不支持包含大于或等于2147483648整数的JSON文件。FreeJSON将长整数解析为浮点数。）当我们无法将整数表示为带符号的64位值时，我们就拒绝解析JSON文档。

  \n\n
• \n

  在解析过程中进行完整的UTF-8验证。（像fastjson、gason和dropbox json11这样的解析器不会进行UTF-8验证。）

  \n\n
• \n

  完全验证数字。（像gason和ultranjson这样的解析器会接受[0e+]这样的数字。）

  \n\n
• \n

  验证字符串内容中的未转义字符。（像fastjson和ultrajson这样的解析器接受字符串中未转义的换行符和制表符。）

  \n\n

\n

架构

\n

解析器分三个阶段：

\n

• \n
• \n

  阶段1，（查找标记）快速标识结构元素、字符串等。我们在这个阶段验证UTF-8编码。

  \n\n
• \n

  阶段2，（结构构建）构建排序的“树”（物化为磁带），以方便访问数据。我们在这个阶段解析字符串和数字。

  \n\n

\n

访问已解析的文档

\n

以下是将解析后的JSON转储回字符串的代码示例：

\n

ParsedJson::iterator pjh(pj);\n    if (!pjh.isOk()) {\n      std::cerr \u0026lt;\u0026lt; \u0026quot; Could not iterate parsed result. \u0026quot; \u0026lt;\u0026lt; std::endl;\n      return EXIT_FAILURE;\n    }\n    compute_dump(pj);\n    //\n    // where compute_dump is :\n\nvoid compute_dump(ParsedJson::iterator \u0026amp;pjh) {\n  if (pjh.is_object()) {\n    std::cout \u0026lt;\u0026lt; \u0026quot;{\u0026quot;;\n    if (pjh.down()) {\n      pjh.print(std::cout); // must be a string\n      std::cout \u0026lt;\u0026lt; \u0026quot;:\u0026quot;;\n      pjh.next();\n      compute_dump(pjh); // let us recurse\n      while (pjh.next()) {\n        std::cout \u0026lt;\u0026lt; \u0026quot;,\u0026quot;;\n        pjh.print(std::cout);\n        std::cout \u0026lt;\u0026lt; \u0026quot;:\u0026quot;;\n        pjh.next();\n        compute_dump(pjh); // let us recurse\n      }\n      pjh.up();\n    }\n    std::cout \u0026lt;\u0026lt; \u0026quot;}\u0026quot;;\n  } else if (pjh.is_array()) {\n    std::cout \u0026lt;\u0026lt; \u0026quot;[\u0026quot;;\n    if (pjh.down()) {\n      compute_dump(pjh); // let us recurse\n      while (pjh.next()) {\n        std::cout \u0026lt;\u0026lt; \u0026quot;,\u0026quot;;\n        compute_dump(pjh); // let us recurse\n      }\n      pjh.up();\n    }\n    std::cout \u0026lt;\u0026lt; \u0026quot;]\u0026quot;;\n  } else {\n    pjh.print(std::cout); // just print the lone value\n  }\n}\n

\n

下面的函数将找出所有的user.id整数：

\n

void simdjson_traverse(std::vector\u0026lt;int64_t\u0026gt; \u0026amp;answer, ParsedJson::iterator \u0026amp;i) {\n  switch (i.get_type()) {\n  case '{':\n    if (i.down()) {\n      do {\n        bool founduser = equals(i.get_string(), \u0026quot;user\u0026quot;);\n        i.next(); // move to value\n        if (i.is_object()) {\n          if (founduser \u0026amp;\u0026amp; i.move_to_key(\u0026quot;id\u0026quot;)) {\n            if (i.is_integer()) {\n              answer.push_back(i.get_integer());\n            }\n            i.up();\n          }\n          simdjson_traverse(answer, i);\n        } else if (i.is_array()) {\n          simdjson_traverse(answer, i);\n        }\n      } while (i.next());\n      i.up();\n    }\n    break;\n  case '[':\n    if (i.down()) {\n      do {\n        if (i.is_object_or_array()) {\n          simdjson_traverse(answer, i);\n        }\n      } while (i.next());\n      i.up();\n    }\n    break;\n  case 'l':\n  case 'd':\n  case 'n':\n  case 't':\n  case 'f':\n  default:\n    break;\n  }\n}\n

\n

深度比较

\n

如果你想了解各种解析器如何验证给定的JSON文件：

\n

make allparserscheckfile\n./allparserscheckfile myfile.json\n

\n

性能比较：

\n

make parsingcompetition\n./parsingcompetition myfile.json\n

\n

更广泛的比较：

\n

make allparsingcompetition\n./allparsingcompetition myfile.json\n

\n

英文原文：https://github.com/lemire/simdjson

\n

更多内容，请关注前端之巅。

\n

\n