小气球归来的博客

SGXFuzz软件栈

Ocaml入门

使用Intel Vtune分析SGX应用性能

Gramine（原graphene-sgx）软件栈

《SmashEx: Smashing SGX Enclaves Using Exceptions(CCS 2021)》阅读笔记

【SGX】Ocall Proxy处调用Ocall出现异常的解决办法

TLS支持情况Enclave目前部分支持Thread Local Storage，即支持__thread限定符，但不支持thread_lcoal限定符。__thread相比thread_lcoal，只支持将变量在TLS区域分配内存，不能进行初始化等操作。为什么不能支持thread_lcoal？Enclave TLS的配置编译时，TLS的变量的常量表达式结果（如果有，若没有，用0填充）按照指定的偏移存储到.tbss Section（在ELF文件的08 Segment中）。$ readelf encl

前言有些问题比较常见，在这里直接将问答内容贴出来，方便大家搜索。有空再重新组织文字。（我会避免泄露私人信息）内存地址翻译全部交给os，那中间经过cache也是全部交给os是嘛？这个cache这部分，enclave中是怎么处理的呢？page walk依旧是os来做，但是SGX特有的EPCM会确保这个page walk的结果是正确未被篡改的。cache属于cpu内的微架构，cpu内的数据流都是明文的。将要流向epc的数据流在离开cpu时，进入总线前，被mee加密。当epc evict时，会由指令里的

SGX_SQLite【源码分析】

2.2 SGX Software Design SpaceSGX应用及Graphene-SGX等Shielding Framework的开发过程中面临的一个问题是把多少功能给塞进Enclave中。两个重要的考量是：由于Enclave切换环境开销大，如何尽量减少进出Enclave？由于Enclave物理内存（EPC）有限，如何避免使用内存过大导致EPC出现Swap并影响性能的情况？Shielding complexity 应用放到Enclave中有时候必须要一些内核功能，对此需要开放接口使用不可信

简介在检查Enclave的内存安全问题时基于Intel MPX的方案会额外造成100倍的虚拟内存开销，当原始工作集消耗内存60M时，Enclave会因为没有空闲虚拟内存而崩溃。基于ASAN的方案会额外造成3.1倍的性能开销和3.1倍的虚拟内存开销，当原始工作集消耗700-800M时，Enclave会因为没有空闲虚拟内存而崩溃。SGXBounds利用SGX Enclave内指针高32位空闲的特点，将Tag放置其中表示内存对象的Upper Bound值（内存对象后紧跟其Lower Bound值，万一M

百度XLab的SGXRay在BlackHat2021上演讲了，目前还没有相关YouTube视频。相关链接如BlackHat官网链接、Github和“百度安全实验室”公众号SGXRay提到了针对Enclave内存建模，关注跨越Enclave边界的数据流，基于SMACK进行程序验证。应该可以将其归为静态方法，在此之前有COIN Attack和TeeRex两篇使用符号执行技术进行SGX漏洞自动化挖掘的工作，TeeRex关注了Enclave输入产生的危害。...

《COIN Attack (ASPLOS‘20)》笔记

COIN Attacks【源码分析】

0xbadc0de包含针对SGX软件栈的若干漏洞利用POC。SGX-LKLSignal HandlerSample OutSample output../../build/sgx-lkl-run sgxlkl-disk.img app/helloworldsgx.c: ubase = 0x7feed8000000, size = 5d7f -> end = 0x7feed8005d7eubase = 0x7feed8000000enclave: super secret string

基本参考Here.安装kvm-sgx安装kvm-sgx，也就是安装包含了支持SGX特性的KVM的内核。但内核编译过程中会遇到关于debian/canonical-certs.pem的错误，对此可以参考Here创建一对密钥，并将公钥注册到机器上。安装qemu-sgx安装qemu-sgx前，为了支持usb-redir，需要安装一些apt包sudo apt-get install libusb-dev libusbredirparser-dev和pip包sudo pip3 install meson n

介绍Jo Van Bulck针对接口消毒代码（ Sanitization）从ABI、API层面寻找漏洞，即 Enclave Interface Sanitization Vulnerabilities。漏洞涉及Intel SGX-SDK（Edger8r）、Microsoft OpenEnclave(Deep Copy Marshalling)、Google Asylo和Rust Compiler等项目。DarkROP、Guard‘s Dilemma更关注在Enclave利用传统内存安全漏洞，而A Tal

简介OpenEnclave（缩写为OE）是微软开发的TEE软件栈，它支持Intel SGX和OP-TEE OS on ARM TrustZone，【OpenEnclave提供的SGX软件栈有别于Intel SGX软件栈（如linux-sgx），两者互为替代关系】。OpenEnclave支持C/C++运行时。OpenEnclave主要的一个用途是在微软Azure云上保护目标安全。架构OpenEnclave和linux-sgx在SGX软件栈方面架构上非常相近，但实现细节有些区别。OpenEnclave

Introduce《TeeRex: Discovery and Exploitation of Memory Corruption Vulnerabilities in SGX Enclaves》是Tobias Cloosters、Michael Rodler、Lucas Davi发表在USENIX Security 2020的论文。主要讨论了使用符号执行技术挖掘SGX软件层内存破坏（Memory Corruption）漏洞，这一类漏洞的特征包括跨越Host-to-Enclave Boundary（这是内

简单分析了一下Google Asylo介绍Asylo 是一个开源框架，助力Enclave应用程序开发。Asylo 能够帮助Enclave开发者使用一系列新兴的可信执行环境 (TEE)，包括采用软件和硬件隔离技术实现的TEE，更具体来说包括如Intel SGX、ARM TrustZone提供的Enclave。⋆ Google Asylo大量运用了ABSL库。Google Asylo与Intel SGX PSW&SDK的关系Google Asylo和linux-sgx（linux平

在修改linux-sgx之后往往需要重新linux-sgx来验证所修改代码的效果，但是重新编译会耗费大量时间，所以可以考虑手动地单独地将所修改代码重新编译成库并拷贝到SGX安装时的路径。举例来说，如果修改了linux-sgx/sdk/trts目录下的源文件的代码，那么可以简单地对trts目录里的内容重新编译，然后将生成的库文件拷贝到${SGX安装目录}（如/opt/intel/sgxsdk）/lib中，如果是修改了linux-sgx/common/inc/里的向外暴露的头文件，可以将修改后的头文件直接拷

2019年CascadeLake架构的部分CPU引入Intel SST(Intel® Speed Select Technology)，方面用户手动调整每个核（Core）的频率。https://en.wikichip.org/wiki/intel/speed_select_technologyhttps://www.intel.cn/content/www/cn/zh/architecture-and-technology/speed-select-technology-article.html

AEX流程图

《A Memory Encryption Engine Suitable for General Purpose Processors》一篇技术性的文章，讲述了SGX中Intel MEE的设计的初衷、目标、实现细节等等。Intel MEE最为关键的是保护了CPU-DRAM（DRAM中的EPC） Traffic上的信息安全（机密性、保证性、新鲜度）。总的来说，机密性是通过加密进行保护的，既MEE对离开CPU的信息进行加密，比如存放到EPC的信息都是加密过的，这个加密密钥是每次开机加电时（？）CPU

sgx-gdb及SGX Enclave调试

已有至强和酷睿CPU支持IceLake架构。SGX2新增EDMM（Enclave Dynamic Memory Management）特性，支持动态调整Enclave所用物理内存。SGX2还支持EPC大内存，最高达1TB。SGX1中用于加密内存的Intel MEE被改为Intel TME。但TME不再维护哈希树，即不提供完整性保护。其他消息

设置SIGTERM信号句柄使用【sigaction】来注册SIGTERM的处理句柄【handler】，该句柄会将当前线程给（作者自定义的）终止，通过设置【kill_thread】数组项（每一项是对应一个线程是否需要Kill的标志位）。将【sealed_buf】指针的地址按照4KB对齐...

以SampleCode/Switchless为例。从Enclave内部以Swtichless模式调用OCALL// SampleCode/Switchless/Enclave/Enclave.cppvoid ecall_repeat_ocalls(unsigned long nrepeats, int use_switchless) { sgx_status_t(*ocall_fn)(void) = use_switchless ? ocall_empty_switchless : oc

这个sgx_edger8r是用OCAML写的。《OCaml教程》生成ECALL表【gen_ecall_table】，位于【sdk/edger8r/linux/CodeGen.ml】(* `gen_ecall_table' is used to generate ECALL table with the following form: SGX_EXTERNC const struct { size_t nr_ecall; /* number of ECALLs */

目录ECALL Ordinary(Switch)和Switchless的入门介绍请看《ECALL的Swtich和Switchless简介》想要深究ECALL Ordinary(Switch)调用的细节，请看《ECALL Switch/Ordinary模式》对于ECALLSwitchless模式，需要在SGX初始化时候完成uRTS端的SGX Switchless初始化。简介请看《SGX TCS构建及Switchless初始化简介》想要知道uRTS端的SGX Switchle...

以SampleCode/Switchless为例讲解ECALLSwitchless的代码流程void ecall_empty_switchless(void) {}【ecall_empty_switchless】是这个例子中用到的典型的Swtichless ECALL，函数里面啥也不执行。那编译的时候怎么能够知道这个函数是使用ECALL Swtichless模式呢？总不能函数符号名里面加一个Swtichless就说明它是Switchless模式的ECALL吧。这可能是个方法，但是无形地会限制.

SGX v2.8开始Enclave内部开始新增pthread库。在这之前，Enclave内部只能维护互斥量同步机制、读写锁同步机制、条件变量同步机制。如下图所示SGX内部一开始不支持创建pthread线程的原因是因为线程的管理涉及到系统调用，这并不是用户态的Enclave能够完成的。而现在SGXv2.8之后，为什么能支持SGX内部创建pthread线程呢？简单来说tRTS pthread最终需要通过OCALL切换到uRTS进行线程管理，只是说tRTS内提供了一些API让SGX内部能够..

SGX初始化中，我们就碰到过切换上下文进入Enclave的场景在SGX初始化过程中，我们其实就碰到了需要切换上下文进入Enclave完成【ECMD_INIT_ENCLAVE】任务，这个任务主要是为了在tRTS内完成一些必要的SGX初始化工作。在《再回顾SGX初始化（三）》中我们提到过。又比如在支持EDMM时，我们可能需要动态生成TCS，那么也需要切换上下文进入Enclave完成【ECMD_MKTCS】任务，用于动态生成TCS。在《再回顾SGX初始化（四）》、《构建动态TCS页》中我们提到过。以【

由于各种需求的不断增加，SGX现在新增了PCL、KSS、Switchless这三种扩展功能。其中Switchless是为了尽可能避免传统ECALL切换上下文的开销而提出的，简单说，就是预先在Enclave内部安置一些工人线程在Enclave外部调用ECALL时由Enclave内部工人线程代理执行，这里讲的是ECALL的Switchless模式调用，OCALL类似。SGX初始化的最后一步就是对Switchless模式的初始化。掉用【CEnclave::init_uswitchless】。概念性的简

目录进入Enclave来构建动态TCS确保当前线程是通用线程（Utility Thread）Enclave内部记录下TCS地址开始构建TCS退出Enclave，让SGX驱动构建TCS页回到Enclave，接受SGX驱动对TCS页的构建操作如果支持EDMM，我们就可以动态生产TCS，因此一开始我们可能只给一部分TCS分配好空间，还有一部分动态TCS并未分配空间，这些动态TCS按需生成。那么下面就要介绍如何动态生成这些动态TCS。进入Enclave的目的编号是【ECMD_MKTC

目录正常退出Enclave执行OCALLsgx_ocall(tRTS)do_ocall(tRTS)__morestack(tRTS, AS)do_ocall(tRTS，AS)__morestack(uRTS, AS)stack_sticker(uRTS, AS)sgx_ocall(uRTS)CEnclave::ocall(uRTS)do_ocall(uRTS)OCALL执行完毕SGX OCALL的流程如下，通过EEXIT来退出Enclave。正常退出E

继《再回顾SGX初始化（三）——uRTS维护Enclave、tRTS完成Enclave构建收尾确认工作》之后，我们又回到了uRTS的__create_enclave函数。此时uRTS、tRTS两边都已经完成了Enclave初始化工作，也就是说Enclave内外两边都已经搞定了Enclave初始化所需要的工作。那么就继续__create_enclave函数的漫漫长征路。裁剪页放到Trimmed列表if (SGX_SUCCESS != (ret = loader.post_init_action_

ELF文件格式左图是链接试图、右图是执行视图。链接视图强调链接器对目标文件及其Section的拼接过程，比如ELF文件、ELF文件映射都是链接视图。执行视图强调在实际执行中的ELF组织形式。《SGX初始化中ELF文件解析》注意这两者是有变化的，这是两套类似的副本，但前者是ELF文件，后者是实际执行的ELF副本，后者由前者提取组成。简单描述一下ELF程序加载的例子，我们首先将各种目标文件（包括可重定位文件、可执行文件、共享目标文件）拼接成ELF文件，由链接器完成。之后我们试图将ELF文件给跑起来（

https://github.com/intel/linux-sgx/tree/master/SampleCode/SwitchlessHardware Debug Mode编译enclave.signed.so的sections如下所示$ readelf -S enclave.signed.soThere are 34 section headers, starting at offset 0x184d8:节头： [号] 名称 类型 ...

SGX初始化末期通过调用relocate_enclave完成对对ELF文件映射的重定位项进行配置。API如下/* By default all symbol is linked as global symbol by link editor. When call global symbol, * we first call .plt entry. It should have problems if the call goloal symbol when relocation * is not