linux运维----共享内存

1. 进程间通信（Inter-Process Communication, IPC）

进程间通信是指在不同进程之间传送数据或信号的一些方法。由于每个进程都拥有独立的内存空间，因此它们之间的通信需要借助操作系统提供的特定机制。

• 共享内存（Shared Memory）：共享内存允许多个进程访问同一块内存区域，是效率最高的一种IPC方式。在共享内存中，数据不需要在客户和服务进程间复制，它们可以直接读写同一块内存。但是，这也带来了同步问题，因为多个进程可能同时访问和修改共享内存。
  

2. 系统编程（System Programming）

系统编程涉及直接与操作系统交互，以实现任务管理和资源分配。

• POSIX API：POSIX（Portable Operating System Interface）是一组标准API，用于UNIX和类UNIX操作系统。以下是一些关键的POSIX API和它们的用途：

  • shm_open：创建或打开一个共享内存对象，并返回一个文件描述符，类似于打开文件的open系统调用。

  • ftruncate：调整共享内存对象的大小，确保它至少与指定的大小一样大。

  • mmap：将文件或共享内存映射到进程的地址空间，使得进程可以像访问普通内存一样访问这些资源。

  • munmap：解除之前通过mmap映射的内存区域的映射。

  • shm_unlink：删除共享内存对象。这类似于unlink系统调用，用于删除文件。

3. 同步（Synchronization）

在多进程或多线程环境中，同步机制用于控制对共享资源的访问，以避免竞态条件。

• 信号量（Semaphore）：信号量是一个整数变量，可以用来控制对共享资源的访问。它通常有两个原子操作：P（等待）和V（信号）。在POSIX系统中，信号量可以通过以下API操作：

  • sem_open：创建或打开一个信号量。

  • sem_wait：等待信号量（即执行P操作），如果信号量的值大于0，则减1并继续；如果为0，则阻塞直到信号量变为正值。

  • sem_post：增加信号量的值（即执行V操作），唤醒等待该信号量的一个进程。

  • sem_close：关闭信号量。

  • sem_unlink：删除信号量。

4. 文件操作

文件操作是编程中常见的任务，包括打开、读取、写入和关闭文件。

• 文件I/O：在C语言中，文件操作通常使用标准库函数完成：

  • fopen：打开文件。

  • fread：从文件读取数据。

  • fwrite：向文件写入数据。

  • fclose：关闭文件。

5. 错误处理

在系统编程中，错误处理是必不可少的，因为许多操作都可能失败。

• 程序中使用perror来打印出与当前进程相关的最后一个错误信息。exit用于在发生错误时终止程序。

6. 进程控制

进程控制包括创建新进程、终止进程和操纵进程状态。

• fork：创建一个新的进程。fork调用一次，返回两次：在父进程中返回子进程的PID，在子进程中返回0。

7. 内存操作

内存操作函数用于设置或读取内存内容。

• memset：设置内存区域的值。常用于初始化内存。

8. 类型定义与结构体

C语言提供了类型定义和结构体，用于创建复杂的数据类型。

• typedef：用于为已存在的数据类型创建新的名称。

• 结构体（struct）：用于组合多个不同的数据类型，创建新的复合类型。

9. 地址空间管理

地址空间管理涉及到如何将物理内存映射到进程的虚拟地址空间。

• 内存映射（Memory Mapping）：通过mmap，文件或设备的内容可以映射到进程的地址空间，这样就可以通过读写内存地址来访问文件内容，而不需要使用传统的文件I/O操作。
  

共享内存如何初始化？

共享内存的初始化通常涉及以下几个步骤：

1. 创建共享内存对象：使用系统调用如shmget（在POSIX系统上）或CreateFileMapping（在Windows上）来创建共享内存区域。
2. 映射共享内存：使用shmat（POSIX）或MapViewOfFile（Windows）将共享内存区域映射到进程的地址空间。
3. 初始化共享数据：在映射之后，通常会初始化共享内存中的数据结构，以便其他进程能够正确地解释和使用这些数据。
   以下是一个在POSIX兼容系统上初始化共享内存的示例：

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
#define SHM_NAME "/my_shm"
#define SHM_SIZE 4096  // 假设共享内存大小为4KB
int main() {
    // 1. 创建共享内存对象
    int shm_fd = shm_open(SHM_NAME, O_CREAT | O_RDWR, 0666);
    if (shm_fd == -1) {
        perror("shm_open");
        exit(EXIT_FAILURE);
    }
    // 2. 调整共享内存大小
    if (ftruncate(shm_fd, SHM_SIZE) == -1) {
        perror("ftruncate");
        exit(EXIT_FAILURE);
    }
    // 3. 映射共享内存到进程地址空间
    void *shm_ptr = mmap(NULL, SHM_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, shm_fd, 0);
    if (shm_ptr == MAP_FAILED) {
        perror("mmap");
        exit(EXIT_FAILURE);
    }
    // 4. 初始化共享内存中的数据
    memset(shm_ptr, 0, SHM_SIZE);  // 清零共享内存区域
    // 示例：创建一个简单的共享结构体
    typedef struct {
        int value;
        char buffer[1024];
    } SharedData;
    SharedData *shared_data = (SharedData *)shm_ptr;
    shared_data->value = 42;  // 初始化值
    strncpy(shared_data->buffer, "Hello, Shared Memory!", sizeof(shared_data->buffer));
    // 使用共享内存...
    // 5. 解除映射
    if (munmap(shm_ptr, SHM_SIZE) == -1) {
        perror("munmap");
        exit(EXIT_FAILURE);
    }
    // 6. 关闭共享内存对象
    if (close(shm_fd) == -1) {
        perror("close");
        exit(EXIT_FAILURE);
    }
    // 7. 删除共享内存对象（如果不再需要）
    if (shm_unlink(SHM_NAME) == -1) {
        perror("shm_unlink");
        exit(EXIT_FAILURE);
    }
    return 0;
}

在这个示例中，我们首先使用shm_open创建一个新的共享内存对象，然后使用ftruncate调整它的大小，接着使用mmap将其映射到进程的地址空间。映射后，我们使用memset来清零整个共享内存区域，并初始化一个SharedData结构体。使用完毕后，我们使用munmap解除映射，使用close关闭共享内存文件描述符，并最终使用shm_unlink删除共享内存对象。
请记住，在多进程环境中，通常需要一个进程负责创建和初始化共享内存，而其他进程则直接映射并使用它。删除共享内存对象应该是在所有进程都完成使用后进行的。

在编程实现两个没有亲缘关系的进程之间通过共享内存传递文件内容时，我们需要使用操作系统提供的API来创建和管理共享内存，以及同步原语来保证同步访问。以下是一个简化的示例，展示了如何使用 POSIX 共享内存和信号量在类Unix系统中完成这个过程。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <semaphore.h>
#include <sys/types.h>
#define SHM_NAME "/my_shm"
#define SEM_NAME "/my_sem"
// 假设共享内存大小为1MB
#define SHM_SIZE 1024 * 1024
// 文件传输结构体
typedef struct {
    size_t file_size; // 文件总大小
    char data[SHM_SIZE - sizeof(size_t)]; // 剩余空间用于存储数据
} FileTransfer;
void write_to_shm(const char* filename, sem_t* sem) {
    int shm_fd = shm_open(SHM_NAME, O_CREAT | O_RDWR, 0666);
    if (shm_fd == -1) {
        perror("shm_open");
        exit(EXIT_FAILURE);
    }
    // 调整共享内存大小
    if (ftruncate(shm_fd, SHM_SIZE) == -1) {
        perror("ftruncate");
        exit(EXIT_FAILURE);
    }
    // 映射共享内存
    FileTransfer* transfer = mmap(NULL, SHM_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, shm_fd, 0);
    if (transfer == MAP_FAILED) {
        perror("mmap");
        exit(EXIT_FAILURE);
    }
    // 打开文件
    FILE* file = fopen(filename, "rb");
    if (file == NULL) {
        perror("fopen");
        exit(EXIT_FAILURE);
    }
    // 获取文件大小
    fseek(file, 0, SEEK_END);
    transfer->file_size = ftell(file);
    rewind(file);
    size_t bytes_written = 0;
    size_t bytes_to_write;
    char buffer[SHM_SIZE - sizeof(size_t)];
    // 循环写入文件内容到共享内存
    while (bytes_written < transfer->file_size) {
        bytes_to_write = sizeof(buffer);
        if (bytes_written + bytes_to_write > transfer->file_size) {
            bytes_to_write = transfer->file_size - bytes_written;
        }
        fread(buffer, 1, bytes_to_write, file);
        memcpy(transfer->data, buffer, bytes_to_write);
        // 同步访问
        sem_post(sem);
        // 等待读进程读取完成
        sem_wait(sem);
        bytes_written += bytes_to_write;
    }
    // 关闭文件和共享内存
    fclose(file);
    munmap(transfer, SHM_SIZE);
    close(shm_fd);
}
void read_from_shm(sem_t* sem) {
    int shm_fd = shm_open(SHM_NAME, O_RDONLY, 0666);
    if (shm_fd == -1) {
        perror("shm_open");
        exit(EXIT_FAILURE);
    }
    // 映射共享内存
    FileTransfer* transfer = mmap(NULL, SHM_SIZE, PROT_READ, MAP_SHARED, shm_fd, 0);
    if (transfer == MAP_FAILED) {
        perror("mmap");
        exit(EXIT_FAILURE);
    }
    FILE* file = fopen("output_file", "wb");
    if (file == NULL) {
        perror("fopen");
        exit(EXIT_FAILURE);
    }
    size_t bytes_read = 0;
    size_t bytes_to_read;
    char buffer[SHM_SIZE - sizeof(size_t)];
    // 循环读取共享内存内容到文件
    while (bytes_read < transfer->file_size) {
        // 等待写进程写入数据
        sem_wait(sem);
        bytes_to_read = sizeof(buffer);
        if (bytes_read + bytes_to_read > transfer->file_size) {
            bytes_to_read = transfer->file_size - bytes_read;
        }
        memcpy(buffer, transfer->data, bytes_to_read);
        fwrite(buffer, 1, bytes_to_read, file);
        // 通知写进程可以继续写入
        sem_post(sem);
        bytes_read += bytes_to_read;
    }
    // 关闭文件和共享内存
    fclose(file);
    munmap(transfer, SHM_SIZE);
    close(shm_fd);
}
int main() {
    sem_t* sem = sem_open(SEM_NAME, O_CREAT, 0666, 0);
    if (sem == SEM_FAILED) {
        perror("sem_open");
        exit(EXIT_FAILURE);
    }
    pid_t pid = fork();
    if (pid == -1) {
        perror("fork");
        exit(EXIT_FAILURE);
    }
    
    if (pid > 0) {
        // 父进程负责写入共享内存
        write_to_shm("input_file", sem);
    } else {
        // 子进程负责从共享内存读取
        read_from_shm(sem);
    }
    // 清理信号量
    sem_close(sem);
    sem_unlink(SEM_NAME);
    // 清理共享内存
    shm_unlink(SHM_NAME);
    return 0;
}

这个程序做了以下几件事情：

1. 定义了一个共享内存的结构体FileTransfer，其中包含文件大小和用于存储数据的缓冲区。
2. write_to_shm函数负责打开文件，读取内容，并将其写入共享内存。它使用一个信号量来同步写入操作。
3. read_from_shm函数负责从共享内存读取内容，并将其写入一个新文件。它同样使用信号量来同步读取操作。
4. 在main函数中，创建了一个信号量，并使用fork创建了一个子进程。父进程调用write_to_shm，子进程调用read_from_shm。
5. 在文件传输完成后，程序清理了信号量和共享内存。
   请注意，为了简化代码，这里没有处理所有可能的错误情况，实际应用中需要更加健壮的错误处理。另外，该示例假设共享内存和信号量的创建和使用是在同一个程序的两个进程之间进行的，但在实际应用中，可能需要单独的程序来分别执行写入和读取操作，此时需要确保两个程序都能访问到相同的共享内存和信号量。