System V IPC 创建共享内存失败

System V IPC 创建共享内存失败

问题描述

测试环境中集群中某个节点启动后共享内存创建失败，其他相同环境的不同主机上的节点可成功运行。

---

原因分析

1.检查ftok传入的pathname是否存在
存在，并且可保证为创建各块共享内存的文件名不重复
2.检查传入的pathname对应的文件是否有可读权限
ls -al检查后具有660可读权限
3.尝试清空临时目录(/tmp)后启动
成功

---

System V创建共享内存接口缺陷

当一个节点需要创建大量的共享内存时单纯使用key_t类型的参数难以阅读，更常见的方式是通过ftok生成key。

#include <sys/ipc.h>
#include <sys/shm.h>

/*
 * @brief: 将一个路径名和一个项目标识符转换为 System V IPC 键。
 *
 * @param pathname:路径名（必须是现有的、可访问的文件
 * @param proj_id: 低八位有效的int
 *
 * @return: System V IPC key
 */
key_t ftok(const char *pathname, int proj_id);

/* 
 * @brief: 创建或获取共享内存
 * 
 * @param key: int类型关键字
 * @param size: 共享内存大小
 * @param shmflg: 指定对共享内存的访问权限和标志
 * 
 * @return: 失败: -1, 成功: 共享内存标识符
 */
int shmget(key_t key, size_t size, int shmflg);

但是ftok函数有一定缺陷，主机中存在足够数量文件的情况下可能会发生key碰撞。
key是一个由dev的proj_id的低8位，dev的低8位和inod的低16位组成的32位int值。

key_t ftok(const char *pathname, int proj_id) {
    struct stat stbuf;
    if (stat(pathname, &stbuf) == -1)
        return (key_t)-1;

    key_t key = (key_t)(((proj_id & 0xff) << 24) | ((stbuf.st_dev & 0xffff) << 8) | (stbuf.st_ino & 0xffff));

    return key;
}

验证缺陷

通过下面测试代码可验证：key是由01111110（pid的低八位）、00000001（dev的低8位）、1011011110110001（inod的低16位）组成。

#include <cstdint>

#include <iostream>
#include <format>
#include <bitset>

#include <sys/ipc.h>
#include <sys/shm.h>
#include <sys/stat.h>
#include <unistd.h>

using namespace std;

int main() {
  constexpr const char *path = "/tmp/shm/test.shm";

  struct stat file_stat;
  if (-1 == stat(path, &file_stat)) {
    cerr << format("file is not exist, file path: {}", path) << endl;
    return 1;
  }

  uint32_t ino = static_cast<uint32_t>(file_stat.st_ino);
  bitset<32> binary_ino(ino);
  cout << format("ino: {}, binnary ino: {}\n", ino, binary_ino.to_string());

  uint32_t dev = static_cast<uint32_t>(file_stat.st_dev);
  bitset<32> binary_dev(dev);
  cout << format("dev: {}, binary dev: {}\n", dev, binary_dev.to_string());

  pid_t pid = getpid();
  bitset<32> binary_pid(pid);
  cout << format("pid: {}, binary pid: {}\n", pid, binary_pid.to_string());

  key_t key = ftok(path, pid);
  bitset<32> binary_key(key);
  cout << format("key: {}, binary key: {}\n", key, binary_key.to_string());

  return 0;
}

~/Code/test (main*) » app/bin/shm
ino: 309169, binnary ino: 00000000000001001011011110110001
dev: 2049, binary dev: 00000000000000000000100000000001
pid: 778878, binary pid: 00000000000010111110001001111110
key: 2114041777, binary key: 01111110000000011011011110110001

所以当满足下面三点条件的时候就会发生key碰撞

• 在 POSIX 文件系统中，如果为创建共享内存使用的临时文件在同一个硬盘下（同一个文件系统上），它们的dev是相同的。
• 为了其他进程方便获取以创建的共享内存，proj_id通常也会使用一个可配置的值。
• 如果拥有数量足够的文件那么inod的低16位必定会重复

避免key碰撞导致访问不该访问的共享内存

在需要创建大量共享内存的情况下，为了确节点可按照正常逻辑运行，所有的共享内存应放在最先启动的资源管理进程负责创建，可以避免资源管理的复杂性和确保资源的一致性。而后续启动的进程则可以在正确连接到已经存在的共享内存资源，这种做法具有以下优点：

1. 一致性管理： 通过由单一进程创建所有共享内存，可以确保这些共享内存的创建和初始化是有序的。这可以避免在多个进程之间竞争创建共享内存带来的问题。
2. 简化资源访问： 其他进程只需要连接到已经存在的共享内存，而不需要负责创建和初始化。这简化了逻辑，并且确保在连接时共享内存已准备好使用。
3. 统一管理： 一个进程负责资源的创建和释放，可以更好地进行资源管理和监控。这有助于避免资源泄漏等问题。
4. 避免竞争条件： 避免多个进程同时尝试创建相同共享内存区域可能导致的竞争条件。

#include <iostream>
#include <format>

#include <sys/ipc.h>
#include <sys/shm.h>
#include <sys/stat.h>
#include <unistd.h>

using namespace std;

int main() {
  constexpr const char *path = "/tmp/shm/test.shm";

  struct stat file_stat;
  if (-1 == stat(path, &file_stat)) {
    cerr << format("file is not exist, file path: {}", path) << endl;
    return 1;
  }

  key_t key = ftok(path, getpid());

  int shm_1 = shmget(key, 1024, 0666 | IPC_CREAT | IPC_EXCL);
  // 加入IPC_EXCL可确认此块共享内存是否被创建
  int shm_2 = shmget(key, 1024, 0666 | IPC_CREAT | IPC_EXCL);
  cout << shm_1 << " " << shm_2 << endl;

  shmctl(shm_1, IPC_RMID, NULL);
  return 0;
}

~/Code/test (main*) » app/bin/shm
5 -1

---

POSIX共享内存的方式

在 POSIX 接口中，POSIX IPC 使用命名对象来标识和访问共享资源，而不是通过键值。不同路径名的共享内存对象是独立的，不会发生键碰撞的问题。

POSIX IPC接口调用顺序如下

// 用于创建或打开命名的共享内存对象
int shm_open(const char *name, int oflag, mode_t mode);
// 设置path路径文件的大小。
int truncate(const char *path, off_t length);
// 将文件或其他对象映射到进程的地址空间，从而创建共享内存区域。
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
/*
 *	...
 *  使用共享内存
 *  ...
 */
// 解除映射
int munmap(void *addr, size_t length);
// 关闭共享内存文件描述符
int close(int fd);
// 删除共享内存对象
int shm_unlink(const char *name);