CMake编译Yacl

已于 2024-06-21 16:24:24 修改
阅读量502 收藏 6
点赞数 7
分类专栏： 隐语使用教程 C++知识 文章标签： linux c++
于 2023-12-18 15:13:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37923517/article/details/135063504
版权

本文展示如何用CMake编译Secretyflow的Yacl。

前置条件："*.proto"文件已经用Google protobuf编译好。安装好Yacl文件repositories.bzl中指定的库。这些库安装时最好设置POSITION_INDEPENDENT_CODE=ON，

set(POSITION_INDEPENDENT_CODE True)

或运行cmake命令时加入“-DCMAKE_POSITION_INDEPENDENT_CODE=ON”。

首先展示编译Secretflow的interconnection。


cmake_minimum_required(VERSION 3.10)

project(interconnection)

set(CMAKE_LIBRARY_OUTPUT_DIRECTORY lib)

set(CMAKE_BUILD_TYPE "Release")
set(CMAKE_POSITION_INDEPENDENT_CODE ON)
set(CMAKE_CXX_STANDARD 20)
set(CMAKE_CXX_FLAGS "-fPIC")

include_directories(/usr/local/include)

add_compile_options(-mavx2  -mbmi2)

set(SRC_DIR ./interconnection)
set(ALL_SRC )

function(SearchR _DIR SRC)
    set(DIR ${${_DIR}})
    set(Tmp_List )
    foreach(TMP_DIR ${DIR})
        file(GLOB_RECURSE LIST "${TMP_DIR}/*.cc" "${TMP_DIR}/*.c")
        list(FILTER LIST EXCLUDE REGEX ".*test.cc")
        list(FILTER LIST EXCLUDE REGEX ".*bench.cc")
        list(APPEND Tmp_List ${LIST})
    endforeach()
    set(${SRC} ${Tmp_List} PARENT_SCOPE)
endfunction(SearchR)

SearchR(SRC_DIR ALL_SRC)
message("All Source files are ${ALL_SRC}")
add_library(interconnection STATIC ${ALL_SRC})

target_link_libraries(interconnection brpc ssl crypto)
target_link_libraries(interconnection tommath)
target_link_libraries(interconnection gflags leveldb snappy protobuf cpu_features spdlog benchmark)
target_link_libraries(interconnection absl_bad_any_cast_impl absl_bad_optional_access absl_bad_variant_access absl_base)
target_link_libraries(interconnection absl_city absl_civil_time absl_cord absl_cord_internal absl_cordz_functions)
target_link_libraries(interconnection absl_cordz_handle absl_cordz_info absl_cordz_sample_token absl_crc32c absl_crc_cord_state)
target_link_libraries(interconnection absl_crc_cpu_detect absl_crc_internal absl_debugging_internal absl_demangle_internal)
target_link_libraries(interconnection fmt gtest pthread)

另外YACL依赖secretflow的simplest OT库，cmake脚本如下。


cmake_minimum_required(VERSION 3.10)

enable_language(ASM)
project(simplest_ot)

set(CMAKE_LIBRARY_OUTPUT_DIRECTORY &{PROJECT_SOURCE_DIR})

set(CMAKE_BUILD_TYPE "Release")
set(CMAKE_CXX_STANDARD 20)
set(CMAKE_POSITION_INDEPENDENT_CODE ON)
set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -fPIE -no-pie")

include_directories(/usr/local/include)

add_compile_options(-mavx2  -mbmi2)

set(SRC_DIR ./simplest_ot_portable)
set(ALL_SRC )
set(S_SRC)

function(SearchR _DIR SRC)
    set(DIR ${${_DIR}})
    set(Tmp_List )
    foreach(TMP_DIR ${DIR})
	    file(GLOB_RECURSE LIST "${TMP_DIR}/*.cc" "${TMP_DIR}/*.c")
        list(FILTER LIST EXCLUDE REGEX ".*test.cc")
        list(FILTER LIST EXCLUDE REGEX ".*bench.cc")
        list(APPEND Tmp_List ${LIST})
    endforeach()
    set(${SRC} ${Tmp_List} PARENT_SCOPE)
endfunction(SearchR)

function(SearchS _DIR SRC)
	set(DIR ${${_DIR}})
	set(Tmp_List )
	foreach(TMP_DIR ${DIR})
		file(GLOB_RECURSE LIST "${TMP_DIR}/*.S")
		list(APPEND Tmp_List ${LIST})
	endforeach()
	set(${SRC} ${Tmp_List} PARENT_SCOPE)
endfunction(SearchS)

SearchR(SRC_DIR ALL_SRC)
message("All Source files are ${ALL_SRC}")
add_library(simplest_ot_portable STATIC ${ALL_SRC})

SearchS(SRC_DIR S_SRC)
target_sources(simplest_ot_portable PRIVATE ${S_SRC})

target_link_libraries(simplest_ot_portable brpc ssl crypto)
target_link_libraries(simplest_ot_portable tommath)
target_link_libraries(simplest_ot_portable gflags leveldb snappy protobuf cpu_features spdlog benchmark)
target_link_libraries(simplest_ot_portable absl_bad_any_cast_impl absl_bad_optional_access absl_bad_variant_access absl_base)
target_link_libraries(simplest_ot_portable absl_city absl_civil_time absl_cord absl_cord_internal absl_cordz_functions)
target_link_libraries(simplest_ot_portable absl_cordz_handle absl_cordz_info absl_cordz_sample_token absl_crc32c absl_crc_cord_state)
target_link_libraries(simplest_ot_portable absl_crc_cpu_detect absl_crc_internal absl_debugging_internal absl_demangle_internal)
target_link_libraries(simplest_ot_portable fmt gtest pthread)

set(SRC_DIR ./simplest_ot_x86_asm)
set(ALL_SRC )
SearchR(SRC_DIR ALL_SRC)
message("All Source files are ${ALL_SRC}")
set(ASM_lib simplest_ot_x86_asm)
add_library(${ASM_lib} STATIC ${ALL_SRC})

SearchS(SRC_DIR S_SRC)
target_sources(${ASM_lib} PRIVATE ${S_SRC})

target_link_libraries(${ASM_lib} brpc ssl crypto)
target_link_libraries(${ASM_lib} tommath)
target_link_libraries(${ASM_lib} gflags leveldb snappy protobuf cpu_features spdlog benchmark)
target_link_libraries(${ASM_lib} absl_bad_any_cast_impl absl_bad_optional_access absl_bad_variant_access absl_base)
target_link_libraries(${ASM_lib} absl_city absl_civil_time absl_cord absl_cord_internal absl_cordz_functions)
target_link_libraries(${ASM_lib} absl_cordz_handle absl_cordz_info absl_cordz_sample_token absl_crc32c absl_crc_cord_state)
target_link_libraries(${ASM_lib} absl_crc_cpu_detect absl_crc_internal absl_debugging_internal absl_demangle_internal)
target_link_libraries(${ASM_lib} fmt gtest pthread)

下面是编译Yacl的CMakeLists.txt。


cmake_minimum_required(VERSION 3.10)

project(yacl)

set(CMAKE_LIBRARY_OUTPUT_DIRECTORY lib)

set(CMAKE_BUILD_TYPE "Release")
set(CMAKE_CXX_STANDARD 20)
set(CMAKE_CXX_FLAGS "-fPIC")

include_directories(/usr/local/include /usr/local/include/sodium/ /root/intel/ippcp_2021.8.0/include)
link_directories(/root/intel/ippcp_2021.8.0/lib/intel64/ )

add_compile_options(-mfma -mavx2  -mbmi2 -maes -mpclmul)

set(SRC_DIR ./yacl) 

set(ALL_SRC )
set(Link_SRC )

function(SearchR _DIR SRC)
    set(DIR ${${_DIR}})
    set(Tmp_List )
    foreach(TMP_DIR ${DIR})
	file(GLOB_RECURSE LIST "${TMP_DIR}/*.cc" "${TMP_DIR}/*.c")
        list(FILTER LIST EXCLUDE REGEX ".*test.cc")
        list(FILTER LIST EXCLUDE REGEX ".*bench.cc")
	list(FILTER LIST EXCLUDE REGEX ".*benchmark.*")
        list(APPEND Tmp_List ${LIST})
    endforeach()
    set(${SRC} ${Tmp_List} PARENT_SCOPE)
endfunction(SearchR)


SearchR(SRC_DIR ALL_SRC)
set(Provider_DIR ./yacl/crypto/ossl-provider)
SearchR(Provider_DIR Provider_SRC)
message("All Source files are ${ALL_SRC}")
add_library(${PROJECT_NAME} STATIC ${ALL_SRC})
message("Shared Libraries from ${Provider_SRC}")
add_library(prov_shared SHARED ${Provider_SRC})


target_link_libraries(${PROJECT_NAME} sodium mcl blake3)
target_link_libraries(${PROJECT_NAME} libcrypto_mb.a libippcp.a)
target_link_libraries(${PROJECT_NAME} brpc ssl crypto interconnection)
target_link_libraries(${PROJECT_NAME} tommath)
target_link_libraries(${PROJECT_NAME} gflags leveldb snappy protobuf cpu_features spdlog benchmark)
target_link_libraries(${PROJECT_NAME} absl_bad_any_cast_impl absl_bad_optional_access absl_bad_variant_access absl_base)
target_link_libraries(${PROJECT_NAME} absl_city absl_civil_time absl_cord absl_cord_internal absl_cordz_functions)
target_link_libraries(${PROJECT_NAME} absl_cordz_handle absl_cordz_info absl_cordz_sample_token absl_crc32c absl_crc_cord_state)
target_link_libraries(${PROJECT_NAME} absl_crc_cpu_detect absl_crc_internal absl_debugging_internal absl_demangle_internal)
target_link_libraries(${PROJECT_NAME} fmt gtest z pthread)
target_link_libraries(prov_shared ssl crypto spdlog fmt)

INSTALL(TARGETS prov_shared ${PROJECT_NAME}
        RUNTIME DESTINATION /execroot/bin/
        LIBRARY DESTINATION /execroot/bin/yacl/crypto/ossl-provider/
        ARCHIVE DESTINATION /usr/local/lib
)

需要注意的地方：

  1.  spdlog可能会屏蔽fmt的一些宏。需要用户自己调整头文件的顺序，即spdlog依赖fmt。
  2.  spi_factory.h中重复注册库不必终止程序，可以自行修改这一部分代码。即
if (creator_map_.count(lib_key) > 0)
            return;
    //YACL_ENFORCE(creator_map_.count(lib_key) == 0,
      //           "SPI lib name conflict, {} already exist", lib_key);

那么重复包含有注册类对象的头文件就不用担心重复注册库。

3. OSSL_PROVIDER_load调用之前就需要把相应动态库加载进内存。链接yacl的程序尽量在/execroot/bin下运行，libprov_shared.so放在/execroot/bin/yacl/crypto/ossl-provider/. 这样做的目的是为了适应ossl-provider/helper.h.

下面解释如何链接Yacl的静态库。

Registration

Yacl使用Registration，见spi_factory.h. 链接Yacl库时不一定能链接到这些注册类的对象，从而不会注册这些信息。可以如下查看注册的信息，

std::vector<std::string> names = yacl::math::GaloisFieldFactory::Instance().ListLibraries();
std::cout << " list names \n";
for(auto i = names.begin(); i!=names.end(); ++i)
{
     std::cout << *i << '\n';
}

要确保链接到注册类的对象，可以如下注册一个冗余的库。

REGISTER_GF_LIBRARY(" ", 1, MPIntField::Check, MPIntField::Create);

ExactFunctor
关注
专栏目录
yacl:加载给定环境的配置
07-07
雅克 另一个配置加载器。 给定环境的配置加载器。 默认情况下，它将加载“默认”配置，并且通过指定环境，默认配置可以具有由环境配置覆盖的某些属性。 它使用的。 入门 npm install --save yacl 用法 ： 假设您有一个包含“./config”中的配置文件的目录。 var config = new ConfigLoader ( ) ; config . addDir ( __dirname + '/config' ) ; config . setEnv ( 'development' ) ; config . start ( function ( err ) { if ( err ) throw new Error ( err ) console . log ( config . toJSON ( ) ) ; } ) ; 方法 ： 构
CMAKE：-fPIC参数
u013250861的博客
08-10 634
使用 CMake 添加-fPIC是非常灵活的，你可以根据项目的需求选择不同的方法来确保生成位置无关代码。如果你的项目需要生成共享库，那么添加-fPIC是一个好习惯，以确保共享库的兼容性和可移植性。
CMake学习笔记
jinzhu1911的专栏
11-13 2408
CMAKE_POSITION_INDEPENDENT_CODE 该值是POSITION_INDEPENDENT_CODE的默认值。 此变量用于初始化所有目标上的POSITION_INDEPENDENT_CODE属性。有关其他信息，请参见该目标属性。如果设置，则try_compile()命令也会使用该值。 POSITION_INDEPENDENT_CODE 是否创建与位置无关的目标。 POSITI...
cmake:target属性POSITION_INDEPENDENT_CODE和INTERFACE_POSITION_INDEPENDENT_CODE的区别
10km的专栏
09-21 813
cmake定义的target有两个名字类似的属性：`POSITION_INDEPENDENT_CODE`和`INTERFACE_POSITION_INDEPENDENT_CODE`，本文说明它们的含义和区别
cmake时添加-fPIC编译选项
热门推荐
gpf0845531213的专栏
07-29 1万+
最近在linux下想使用开源库的静态库文件，结合自己开发的代码封装成一个动态库，会出现如下错误： relocation R_X86_64_32 against `.text' can not be used when making a shared object; recompile with -fPIC 或者 relocation R_X86_64_32 against `.rodat...
detectron2 中yacs的使用解读
zhuguiqin1的专栏
04-21 1821
在阅读Detectron2的源代码是发现，代码中对模型的配置大量使用了yacs这个模块。 yacs是一个python库，用于为一个系统构建config文件 安装 $ pip install yacs 导入 from yacs.config import CfgNode as CN 使用 创建配置节点 需要创建CN()这个作为容器来装载我们的参数，这个容器可以嵌套 from yacs.config import CfgNode as CN __C = CN() __C.name = 'test' __C.
Windows下CMAKE编译opencv + opencv-contrib + CUDA12.1 + Cudnn
最新发布
08-28
该资源包含了opencv中所有的第三方库中的功能
gdal.zip 经过cmake编译适用于vs2017
08-16
在本案例中，"gdal.zip 经过cmake编译适用于vs2017" 表示已经有人预先使用CMake配置并编译了GDAL库，使其能够与Visual Studio 2017（VS2017）的C++环境无缝集成。 **GDAL知识点：** 1. **GDAL核心功能**：GDAL提供...
cmake编译osg的资源包
04-10
在本文中，我们将深入探讨如何使用CMake来编译OpenSceneGraph（简称OSG），这是一个强大的3D图形库。我们将涉及的资源包括第三方库、数据包以及与VS2017 v141 x64兼容的版本。 首先，让我们来看看`3rdParty_VS2017_...
用Bazel编译项目，链接隐语Yacl库的示例
06-24
代码链接Yacl库的int128库，并测试了int128中的分解和合成功能。在WORKSPACE以及相应的Bazel文件中展示了如何写Bazel脚本，来链接Yacl。
CMake 3.3.1 用户手册 英文原版制作
08-21
CMake 3.3.1 用户手册 包含ctest，cpack。
centos 7 vscode cmake 编译c++工程的教程详解
12-17
在本教程中，我们将深入探讨如何在CentOS 7操作系统上使用Visual Studio Code (VSCode) 和CMake来编译C++工程。首先，确保你的系统已经安装了基础的开发工具，包括gcc/g++编译器和CMake构建系统。在CentOS 7中，这些...
探秘开源隐语：架构深度剖析与隐私计算技术之旅
qq_51447436的博客
03-21 4000
探秘开源隐语：架构深度剖析与隐私计算技术之旅
C/C++编译问题：编译动态链接库(.so)，需要连接静态链接库(.a)
mingdai7348的博客
05-31 722
时间：2021/5/31 问题描述：已有一个静态链接库(.a)，现在开发一个动态链接库(.so)，该动态链接库依赖于前面已有的静态链接库 项目：
linux-cmake常用指令
m0_37792813的博客
08-18 611
linux-cmake常用指令
cmake编译错误“recompile with -fPIC“
qq_37746927的博客
03-16 938
看起来应该是yaml库的问题，网上查了一圈，应该是安装yaml库的时候安装的静态库的问题。在cmake yaml包的时候添加一个fPIC选项。安装完yaml之后再编译就能通过。
OpenCV使用CMake编译流程详解
资源摘要信息:"OpenCV编译流程通过CMake进行操作的具体步骤和注意事项" OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库。CMake是一种跨平台的自动化构建系统，它使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值