在将分布式存储应用从x86移植到aarch64过程中，遇到1T任务运行时coredump问题。分析发现，错误源于线程间同步问题，具体为自旋锁的实现。x86的内存屏障与store buffer机制与ARM不同，x86保证写操作顺序，而ARM需要使用dmb和dsb指令确保顺序。原始的spin_unlock在ARM上可能导致写乱序，导致错误。修复方案是在解锁时加入dmb ish指令，避免coredump问题。
最近把一个分布式存储的application从x86移植到aarch64上，经过一大坨编译问题的改动，及一些汇编指令的修改，已经能够正常跑job了（这里已经解决syscall number不一致， page size64k等问题）。但是在测试terasort的时候，跑100G任务没问题，跑1T的任务会出现进程coredump的问题， gdb的发现a=b->c 类似这句话出错，出错的原因是b的不对，要么是0要么是一个非常大的值。
分析代码发现，这个b是从一个list里面取出来的。然后list add是在另外一个线程中操作的，所以直觉是锁不对。然后查看application代码，发现自己实现了一个所谓spinlock的东西，就是类似cmpxchg的东西，循环判断是否执行成功。这里我们已经把cmpxchg替换成gcc builtin的函数，通过汇编看到是ldaxr xx, stlxr。ldaxr 就是Load-acquire exclusive register，stlxr是store-release， 查看arm手册，理解这个是可以对应到x86的spin lock实现
开始怀疑是因为x86里面的store buffer刷新机制跟arm不一样，因为
最低0.47元/天 解锁文章
扫一扫
4871
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
