可执行文件以及其加载过程

在计算机系统中，可执行文件是指包含机器代码的文件，计算机可以直接执行这些代码以运行特定的任务或程序。不同的操作系统对可执行文件有不同的定义和处理方式。本文将探讨常见操作系统中的可执行文件格式及其加载过程，特别是以ELF（Executable and Linkable Format）文件格式为例，深入了解其动态库加载过程。同时，我们还将介绍静态链接和动态链接的区别。

可执行文件简介

可执行文件是程序经过编译和链接后生成的文件，其中包含了机器指令、数据和必要的元信息，使得操作系统能够加载并执行该程序。不同操作系统使用不同的可执行文件格式：

• Windows：使用PE（Portable Executable）格式，文件扩展名通常为.exe或.dll。
• macOS：使用Mach-O（Mach Object）格式，文件扩展名通常为.app或.dylib。
• Linux：使用ELF（Executable and Linkable Format）格式，文件扩展名通常为没有特定的要求，但共享库使用.so。

ELF 文件格式

ELF文件格式是用于Linux和其他Unix-like操作系统的标准文件格式，适用于可执行文件、目标文件和共享库。ELF文件由多个部分组成，每个部分包含不同类型的数据，主要结构包括：

1. ELF Header（ELF头）：

   • 包含了文件类型、架构、入口点等基本信息。
   • 关键字段包括e_ident、e_type、e_machine、e_entry等。

2. Program Header Table（程序头表）：

   • 描述了文件中各个程序段的位置和属性。
   • 关键字段包括p_type、p_offset、p_vaddr、p_filesz等。

3. Section Header Table（节头表）：

   • 描述了文件中各个节的位置和属性。
   • 关键字段包括sh_name、sh_type、sh_flags、sh_addr等。

4. Sections（节）：

   • 各种类型的数据段，如代码段（.text）、数据段（.data）、只读数据段（.rodata）、未初始化数据段（.bss）。

ABI（Application Binary Interface）

ABI是定义应用程序在特定操作系统和硬件架构上运行的二进制接口的约定。它包括数据类型大小和对齐、函数调用约定、系统调用接口、二进制文件格式等。不同的操作系统和架构有各自的ABI规范，确保应用程序的二进制兼容性。

• Windows ABI：

  • 使用PE文件格式。
  • 定义了多种调用约定，如stdcall、cdecl、fastcall。
  • 使用WinAPI作为主要的系统调用接口。
  • 常用C标准库实现包括MSVCRT。

• macOS ABI：

  • 使用Mach-O文件格式。
  • 使用System V AMD64 ABI调用约定。
  • 使用POSIX标准系统调用接口，扩展了一些特有的系统调用。
  • 使用libSystem作为C标准库实现。

ELF 文件格式在 ABI 中的作用

ELF文件格式是ABI的重要组成部分，规定了二进制文件的结构，确保操作系统能够正确加载和执行应用程序。具体而言：

• 标准文件格式：定义了可执行文件、目标文件和共享库的标准文件格式，确保二进制兼容性。
• 程序头表和节头表：定义了二进制文件中各个段和节的布局。
• 符号表和重定位信息：提供了符号解析和重定位的必要信息。
• 动态链接：支持动态链接，通过动态库实现代码共享和内存节省。
• 系统调用和C库接口：通过ELF文件描述库文件的结构，确保应用程序与操作系统接口一致。

静态链接与动态链接

在编译和链接过程中，静态链接和动态链接是两种不同的方法，用于将程序代码和库代码组合在一起。

静态链接

• 定义：在编译时将所有使用到的库函数代码复制到最终的可执行文件中。
• 优点：
  • 运行时不需要外部库，所有代码都在一个可执行文件中。
  • 可以避免由于库版本变化导致的兼容性问题。
• 缺点：
  • 可执行文件体积较大，因为包含了所有依赖的库代码。
  • 无法在运行时更新或替换库，更新程序需要重新编译整个可执行文件。

动态链接

• 定义：在运行时将库代码加载到内存中，并与可执行文件链接。
• 优点：
  • 可执行文件体积较小，因为库代码不包含在可执行文件中。
  • 可以在运行时更新或替换库，更新程序只需要替换库文件而不需要重新编译整个可执行文件。
  • 多个程序可以共享同一个库的实例，节省内存。
• 缺点：
  • 运行时依赖于外部库文件，缺少库文件或库版本不兼容可能导致程序无法运行。
  • 动态链接和符号解析会增加一些运行时开销。

ELF 动态库加载过程

在Linux系统中，加载共享库（.so文件）的过程涉及多个步骤，包括解析、映射、符号解析和重定位。以下是详细的加载过程：

1. 启动程序：

   • 操作系统首先加载可执行文件到内存中，读取其ELF头部信息，找到动态段（.dynamic）。

2. 加载器（Loader）：

   • 加载器读取程序头表，找到动态段信息，指示需要加载哪些共享库。

3. 查找共享库：

   • 加载器根据动态段信息查找共享库，路径包括DT_RUNPATH、LD_LIBRARY_PATH和系统默认路径。

4. 映射共享库：

   • 使用mmap将共享库的各个段映射到进程的虚拟地址空间。

5. 解析符号：

   • 加载器解析共享库中的符号，确保所有符号都能在内存中找到。

6. 重定位（Relocation）：

   • 处理重定位条目，调整代码和数据指针，使其指向正确的内存地址。

7. 调用初始化函数：

   • 调用共享库的初始化函数，完成库的初始化。

动态链接器（Dynamic Linker）

动态链接器（如ld.so或ld-linux.so）是负责加载和链接共享库的程序。在程序启动时，操作系统会先加载动态链接器，然后由动态链接器负责加载所有需要的共享库并进行符号解析和重定位。

示例：动态库加载过程

假设有一个可执行文件app依赖于共享库libfoo.so和libbar.so，加载过程如下：

1. 启动app：

   • 操作系统加载app的ELF文件，读取其程序头表，找到动态段。
   • 动态段指示需要加载libfoo.so和libbar.so。

2. 查找libfoo.so和libbar.so：

   • 加载器按顺序查找LD_LIBRARY_PATH、DT_RUNPATH和系统默认路径，找到共享库文件。

3. 映射共享库：

   • 使用mmap将共享库的各个段映射到进程的虚拟地址空间。

4. 解析符号：

   • 动态链接器解析共享库中的符号，确保所有符号都能在内存中找到。

5. 重定位：

   • 处理重定位条目，更新内存中的地址使其指向正确的目标。

6. 调用初始化函数：

   • 调用共享库的初始化函数，完成库的初始化。

总结

可执行文件是操作系统运行程序的核心文件类型，不同操作系统有不同的可执行文件格式和加载方式。ELF文件格式是Linux和其他Unix-like操作系统的标准文件格式，通过详细的结构和动态链接支持，实现了程序的高效加载和运行。静态链接和动态链接是两种不同的链接方法，各有优缺点。了解这些技术和过程，对于系统编程和跨平台开发至关重要。