simdjson的编译使用

1、源码下载

https://github.com/lemire/simdjson

2、源码编译

我是直接编译singleheader下的文件的,具体的编译命令README.md第一行就是,但是我编译时却一直报错

告警:#warning "BMI is missing?"

告警:#warning "We require AVX2 support!"

错误:simdjson.cpp:450:20: error: ‘avxcheckUTF8Bytes’ was not declared in this scope
         previous = avxcheckUTF8Bytes(input_lo, &previous, &has_error);

开始没有头绪网上到处找都没找到,然后看github上源码下面介绍时发现使用simdjson必须满足的条件:

这里面除了gcc7以外,有一条"支持AVX2的处理器",这里说的是支持AVX2的指令集的处理器,查看机器指令集命令:cat  /proc/cpuinfo

我的机器只支持AVX,不支持AVX2,所以编译告警#warning "We require AVX2 support!"

接下来我换了个机器,执行:cat /proc/cpuinfo

哈哈,有了

 

继续编译

竟然还报错,真是折腾人,经过一番度娘发现了问题所在,需要指定编译选项才行,可以在下面的网址去查需要添加哪个选项

https://software.intel.com/sites/landingpage/IntrinsicsGuide/#expand=3828

然后加上编译选项继续编译:

竟然和查到的不一样,幸好系统给出了提示,编译通过啦

具体的命令是:g++ -march=native -O3 -std=c++17 -mpclmul -o amalgamation_demo amalgamation_demo.cpp

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1. 封装了几个自定义的函数, 例如 move_to_root, array_get_length, array_move_to_index, 这样可以少调用一些 X64Call; 2. 简单实现了对于类似 [0].A.B[0].C 的路径的解析取值. 接下来说一下遇到的问题和一些体验: 1. 我构造的测试数据大小是大约是 96MB , 在我的机器上可以正常解析, 再大一些(例如 128MB )会崩溃, 崩溃位于 ParsedJson.allocateCapacity , 琢磨了下没琢磨明白 (温馨提示: 真要是这种大小级别了还是建议各位用 SAX 方式); 2. 除了上面这点, 还有个已知的比较隐蔽 BUG, 貌似是 print_ 这个函数的锅: 静态编译之后, 在 demo 中如果 print_ 递归打印了一个 Object 例如 [0] , 再点击解析就会在 iterator_free 崩溃. 如果只是取值就不崩溃. 3. 这个库会拷贝数据, 在针对过长的数据的时候这不是好做法, 感觉这个库更像是科研性质, 和那些千锤百炼的老牌库相比, 目前可能只有速度占优势了; 4. 机器或者其它方面的限制, 我用 易语言 跑不出宣传文章中的千兆字节每秒, 不过几百 MB/s 还是有的; 5. 由于解析的时候它会拷贝数据, 我不清楚有没有可能会产生 64-bit 的内存地址, 暂时就是指针到文本当 32-bit 用, 但心里很没底, 希望 eWOW64Ext 作者有空可以帮忙看一下... @shier2817 谢谢! 6. 库用的是 10.0.17134.0 版本的 SDK /MT 编译的, 但已经无法支持 WindowXP, 低版本的 SDK 编译不过去, 对这些指令不熟悉所以没有去探究原因(也许就是不支持, 详情请翻阅 MSDN); 7. 关于编译模式: 用 MinSizeRel 生成的话, 会导致 double 取值异常, 具体原因未深究, 所以默认使用了 Release . 我将会在附件中附上三种编译模式生成的文件供各位研究: RelWithDebInfo, MinSizeRel, Release; 用到的模块: 1. 感谢 eWOW64Ext : https://bbs.125.la/thread-14322538-1-1.html 2. Jβec : https://bbs.125.la/thread-14069145-1-1.html

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值