Linux 多进程开发（上）

已于 2024-03-11 23:38:13 修改
阅读量1.8k 收藏 22
点赞数 31
分类专栏： 网络编程 文章标签： linux 服务器 多线程开发
于 2024-03-11 22:48:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43412762/article/details/136379675
版权

第二章 Linux 多进程开发

网络编程系列文章：

第1章 Linux系统编程入门（上）
第1章 Linux系统编程入门（下）

第2章 Linux多进程开发（上）
第2章 Linux多进程开发（下）

第3章 Linux多线程开发

第4章 Linux网络编程


第5章 Web服务器

2.1 进程概述

（1）程序和进程

程序是包含一系列信息的文件，这些信息描述了如何在运行时创建一个进程：

  • 二进制格式标识：每个程序文件都包含用于描述可执行文件格式的元信息。内核利用此信息来解释文件中的其他信息。（ ELF 可执行连接格式 ）

  • 机器语言指令：对程序算法进行编码。

  • 程序入口地址：标识程序开始执行时的起始指令位置。

  • 数据：程序文件包含的变量初始值和程序使用的字面量值（比如字符串）。

  • 符号表及重定位表：描述程序中函数和变量的位置及名称。这些表格有多重用途，其中包括调试和运行时的符号解析（动态链接）。

  • 共享库和动态链接信息：程序文件所包含的一些字段，列出了程序运行时需要使用的共享库，以及加载共享库的动态连接器的路径名。

  • 其他信息：程序文件还包含许多其他信息，用以描述如何创建进程。

  • 进程是正在运行的程序的实例。是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。

  • 可以用一个程序来创建多个进程，进程是由内核定义的抽象实体，并为该实体分配用 以执行程序的各项系统资源。从内核的角度看，进程由用户内存空间和一系列内核数 据结构组成，其中用户内存空间包含了程序代码及代码所使用的变量，而内核数据结构则用于维护进程状态信息。记录在内核数据结构中的信息包括许多与进程相关的标识号（ IDs ）、虚拟内存表、打开文件的描述符表、信号传递及处理的有关信息、进程资源使用及限制、当前工作目录和大量的其他信息。

（2）单道、多道程序设计

  • 单道程序，即在计算机内存中只允许一个的程序运行。
  • 多道程序设计技术 是在计算机内存中同时存放几道相互独立的程序，使它们在管理程序控制下，相互穿插运行，两个或两个以上程序在计算机系统中同处于开始到结束之间的状态 , 这些程序共享计算机系统资源。引入多道程序设计技术的根本目的是为了提高 CPU 的利用率。
  • 对于一个单 CPU 系统来说，程序同时处于运行状态只是一种宏观上的概念，他们虽然都已经开始运行，但就微观而言，任意时刻， CPU 上运行的程序只有一个。
  • 在多道程序设计模型中，多个进程轮流使用 CPU 。而当下常见 CPU 为 纳秒级， 1 秒可以执行大约 10 亿条指令。由于人眼的反应速度是毫秒级，所以看似同时在运行。

（3）时间片

  • 时间片（ timeslice ）又称为“量子 ( quantum ）” 或 “处理器片 ( processor slice )是操作系统分配给每个正在运行的进程微观上的一段 CPU 时间。事实上，虽然一台计算机通常可能有多个 CPU ，但是同一个 CPU 永远不可能真正地同时运行多个任务。在只考虑一个 CPU 的情况下，这些进程“看起来像”同时运行的，实则是 轮番穿插地运行，由于时间片通常很短（在 Linux 上为 5ms-800ms ），用户不会感觉到。
  • 时间片由操作系统内核的调度程序分配给每个进程。首先，内核会给每个进程分配相等的初始时间片，然后每个进程轮番地执行相应的时间，当所有进程都处于时间片耗尽的状态时，内核会重新为每个进程计算并分配时间片，如此往复。

（4）并行和并发

  • 并行 ( parallel )：指在同一时刻，有多条指令在多个处理器上同时执行。
  • 并发 ( concurrency )：指在同一时刻只能有一条指令执行，但多个进程指令被快速的轮换执行，使得在宏观上具有多个进程同时执行的效果，但在微观上并不是同时执行的，只是把时间分成若干段，使多个进程快速交替的执行。

在这里插入图片描述

（5）进程控制块（PCB)

  • 为了管理进程，内核必须对每个进程所做的事情进行清楚的描述。内核为每个进程分配一个 PCB(Processing Control Block) 进程控制块，维护进程相关的信息，Linux 内核的进程控制块是 task_struct 结构体。

  • 在 /usr/src/linux-headers-xxx/include/linux/sched.h 文件中可以查看 struct task_struct 结构体定义。其内部成员有很多，我们只需要掌握以下部分即可：

    • 进程 id ：系统中每个进程有唯一的 id ，用 pid_t 类型表示，其实就是一个非负整数

    • 进程的状态：有就绪、运行、挂起、停止等状态

    • 进程切换时需要保存和恢复的一些 CPU 寄存器

    • 描述 虚拟地址空间 的信息

    • 描述 控制终端 的信息

    • 当前工作目录（ Current Working Directory )

    • umask 掩码

    • 文件描述符表，包含很多指向 file 结构体的指针

    • 和信号相关的信息

    • 用户 id 和 组 id

    • 会话（ Session ）和进程组

    • 进程可以使用的资源上限（ Resource Limit )

      在这里插入图片描述

2.2 进程状态转换

（1）进程的状态

​ 进程状态反映进程执行过程的变化。这些状态随着进程的执行和外界条件的变化而转换。在三态模型中，进程状态分为三个基本状态，即就绪态，运行态，阻塞态。在五态模型中，进程分为新建态、就绪态，运行态，阻塞态，终止态。

在这里插入图片描述

  • 运行态：进程占有处理器正在运行
  • 就绪态：进程具备运行条件，等待系统分配处理器以便运行。当进程已分配到除 CPU 以外的所有必要资源后，只要再获得 CPU ，便可立即执行。在一个系统中处于就绪状态的进程可能有多个，通常将它们排成一个队列，称为就绪队列
  • 阻塞态：又称为等待 ( wite ) 态或睡眠 ( sleep) 态，指进程不具备运行条件，正在等待某个事件的完成

在这里插入图片描述

  • 新建态：进程刚被创建时的状态，尚未进入就绪队列
  • 终止态：进程完成任务到达正常结束点，或出现无法克服的错误而异常终止，或被操作系统及有终止权的进程所终止时所处的状态。进入终止态的进程以后不再执行，但依然保留在操作系统中等待善后。一旦其他进程完成了对终止态进程的信息抽取之后，操作系统将删除该进程。

（2）进程相关命令

  • 查看进程
    ps aux / ajx

    • a：显示终端上的所有进程，包括其他用户的进程
    • u：显示进程的详细信息
    • x：显示没有控制终端的进程
    • j：列出与作业控制相关的信息
      在这里插入图片描述

  • STAT(状态) 参数意义：

    • D 不可中断 Uninterruptible ( usually IO )
    • R 正在运行，或在队列中的进程
    • S(大写) 处于休眠状态
    • T 停止或被追踪
    • Z 僵尸进程
    • W 进入内存交换（从内核 2.6 开始无效）
    • X 死掉的进程
    • < 高优先级
    • N 低优先级
    • s 包含子进程
    • + 位于前台的进程组

  • 实时显示进程动态
    top

    可以在使用 top 命令时加上 -d 来指定显示信息更新的时间间隔，在 top 命令执行后，可以按以下按键对显示的结果进行排序：

    • M 根据内存使用量排序

    • P 根据 CPU 占有率排序

    • T 根据进程运行时间长短排序

    • U 根据用户名来筛选进程

    • K 输入指定的 PID 杀死进程

    • 杀死进程
      kill [signal] pid

      kill -l 列出所有信号
      kill -SIGKILL 进程 ID
      kill -9 进程 ID
      killall name 根据进程名杀死进程

(3) 进程号和相关函数

  • 每个进程都由进程号来标识，其类型为 pid_t （非负整型），进程号的范围 0~32767 。进程号总是唯一的，但可以重用。当一个进程终止后，其进程号就可以再次使用。
  • 任何进程（除 init 进程）都是由另一个进程创建，该进程称为被创建进程的父进程，对应的进程号称为父进程号（ PPID ）。
  • 进程组是一个或多个进程的集合。他们之间相互关联，进程组可以接收同一终端的各种信号，关联的进程有一个进程组号（ PGID ）。默认情况下，当前的进程号会当做当前的进程组号。
    • 进程号和进程组相关函数：
      pid_t getpid(void);
      pid_t getppid(void);
      pid_t getpgid(pid_t pid);

2.3 进程创建

（1）进程创建

系统允许一个进程创建新进程，新进程即为子进程，子进程还可以创建新的子进程，形成进程树结构模型。
在这里插入图片描述

返回值：

  • 成功：子进程中返回 0 ，父进程中返回子进程 ID
  • 失败：返回 -1

失败的两个主要原因：

  1. 当前系统的进程数已经达到了系统规定的上限，这时 errno 的值被设置为 EAGAIN
  2. 系统内存不足，这时 errno 的值被设置为 ENOMEM
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
/*
pid_t fork(void);
函数的作用：用于创建子进程。
        返回值：
            fork()的返回值会返回两次。一次是在父进程中，一次是在子进程中。
            在父进程中返回创建的子进程的ID,
            在子进程中返回0
            如何区分父进程和子进程：通过fork的返回值。
            在父进程中返回-1，表示创建子进程失败，并且设置errno
*/

int main() {
   

    int num = 10;

    // 创建子进程
    pid_t pid = fork();

    // 判断是父进程还是子进程
    if(pid > 0) {
   
        printf("pid : %d\n", pid);
        // 如果大于0，返回的是创建的子进程的进程号，当前是父进程
        printf("i am parent process, pid : %d, ppid : %d\n", getpid(),
最低0.47元/天 解锁文章
Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file
qq_42681787的博客
11-09 1826
按照提示，pip安装这两个包，结果报错： ImportError: libcudart.so.12: cannot open shared object file: No such file or directory。发现是由于安装的 auto-gptq版本与conda安装的CUDA版本冲突所导致。在 Qwen-14B-Chat-Int4推理时，发现报错，缺少 optimum 和 auto-gptq 两个pip包。安装了跟我conda环境与cuda版本相匹配的 AutoGPTQ，问题解决。
大模型LLM 在线量化；GPTQ\AWQ量化及推理
weixin_42357472的博客
11-19 2196
参考:https://github.com/casper-hansen/AutoAWQ/blob/87350fefb9081dadec111cea9b315d009d877a87/examples/quant_custom_data.py。参考：https://vllm.readthedocs.io/en/latest/quantization/auto_awq.html。参考：https://github.com/vllm-project/vllm/issues/1538。应该是vllm暂时还不支持。
llama2使用gptq量化踩坑记录
weixin_50845368的博客
11-07 7324
我刚开始直接pip install auto-gptq，产生了一系列的问题。本地是CUDA11.6，首先的问题是无法量化。gptq本身是一个github仓库，随后集成在了Transformers 库里，介绍如下：optimum🤗Transformers**已经整合了*，**用于对语言模型进行GPTQ量化。您可以以8、4、3甚至2位加载和量化您的模型，而不会对性能产生很大的影响，并且能够提高推理速度！这在大多数GPU硬件上都得到支持。optimum。
关于pycharm安装GDAL包失败的问题
永不言弃的博客
06-01 2932
4 找到自己项目所在路径下的Scripts文件夹 也就是pycharm 中解释器设置下的解释器路径 C:\Users\casia\OPT-server\Scripts\GDAL-3.3.3-cp39-cp39-win_amd64.whl。5 在终端下输入 pip insall C:\Users\casia\OPT-server\Scripts\GDAL-3.3.3-cp39-cp39-win_amd64.whl。代表自己电脑是win64位机。是自己python版本号。网页中找到对应的安装包。
AtomGPT
TH_NUM的博客
07-02 643
【转发】为了能够在中文上训练出一个能够和ChatGPT能力接近的中文大模型，我们开放了AtomGPT项目AtomGPT基于LLaMA的模型架构，从0开始训练，希望能在训练的过程中，将模型能力得到提升的进化过程展示出来，感受到模型学习的过程。(ps:各位大佬，如果本项目能给您带来一点点帮助，麻烦点个⭐️吧)
BaiChuan13B-GPTQ量化详解
Blue&boke
04-18 1573
1、按照网上搜索的一些代码，如使用auto_gptq原生库进行训练后量化，可能会正常量化，但是在线推理时会出现如找不到bin文件或者tf文件，即模型权重文件，所以和网上大部分代码不同的地方在于，需要提前保存对应模型的权重文件，如果是BaiChuan13B，那么在进行模型量化前，对其进行保存。按照上述步骤，此时模型量化文件保存成功，接下来就是模型在线推理。
源2.0-M32大模型适配AutoGPTQ工具及量化&推理教程
2401_82700030的博客
09-29 1822
AutoGPTQ‌是一个开源工具包，专注于简化大规模语言模型(LLMs)的量化过程。它基于高效的GPTQ算法开发，主要使用Python编程语言，并依托PyTorch框架来实现量化功能。AutoGPTQ的设计目标是为开发者和研究人员提供一个易于使用的API接口，即使对量化技术不太了解的用户也能轻松进行模型量化。通过采用仅量化权重的方式，该工具包在尽量减少性能损耗的情况下，缩减了模型体积，提升了部署的效率。
【AIGC】大模型面试高频考点-LLM量化方法对比：GPTQ、GGUF、AWQ
LeeZhao的博客
03-16 1378
LLM量化方法对比：GPTQ、GGUF、AWQ
欺诈文本分类检测（十四）：GPTQ量化模型
golfxiao的专栏
09-11 1997
本文通过gptq方法分别对微调后的模型进行了8位量化和4位量化，并对比了量化前后模型的性能指标差异，8位量化模型的性能指标变化小，而4位量化模型的性能指标变异较大。
【通义千问】大模型Qwen GitHub开源工程学习笔记（4）-- 模型的量化与离线部署
weixin_46481662的博客
10-13 2850
量化方案基于AutoGPTQ，提供了Int4量化模型，其中包括Qwen-7B-Chat和Qwen-14B-Chat。更新承诺在模型评估效果几乎没有损失的情况下，降低存储要求并提高推理速度。量化是指将模型权重和激活的精度降低以节省存储空间并提高推理速度的过程。AutoGPTQ是一种专有量化工具。Int4是指4位整数量化，与传统的8位量化相比，可以进一步减少存储要求。
pip install pytorch-quantization error
qq_43318374的博客
05-28 943
【代码】pip install pytorch-quantization error。
大模型量化AutoGPTQ代码配置
HuanB123的博客
11-04 529
针对大语言模型推理性能优化的研究取得了巨大的进展，如今我们不仅能够在高端显卡上完成大语言模型的推理，甚至在 CPU 和边缘设备上都可以轻松运行大语言模型。在此记录我配置大模型量化的代码AutoGPTQ的过程中出现的问题和解决方案。选择合适自己的python、系统、和cuda版本的wheel文件，在这里我选择的第三个，因为我的是cu117。大家也可以根据图示命令查看自己虚拟环境中的cuda版本，选择对应的文件。安装的话得到的很可能是不符合你的环境的包。其实最核心的在于安装auto-gptq这个包，但是直接。
使用autogpt来写一篇技术文章（如何部署autogpt+遇到的问题+如何使用）
王亮的博客
04-15 5659
autogpt如何部署，部署遇到问题，使用体验
Qwen大模型实践之量化
lldhsds的专栏
05-08 1746
当前该功能不支持与flash attention同时开启，如果你开了KV cache量化的同时又开了flash attention（use_flash_attn=True， use_cache_quantization=True, use_cache_kernel=True），程序默认将关闭use_flash_attn。开启了KV cache量化之后，模型在推理时可在生成更长的序列（sl，生成的token数）时，节约更多的显存。运行程序后，模型加载完毕，显存占用9G左右，有降低。
AutoGPTQ量化环境搭建与示例实现
qq_41878154的博客
09-10 1081
运行上述代码后可以得到一个量化后的文件夹，这个量化后的模型是以.safetensor格式保存的。文件中具体内容如下所示。
使用GPTQ进行4位LLM量化
wangyifan123456zz的博客
02-26 3582
当一些权重被中间更新推到网格之外时，这种效果可能会恶化。一个简单的启发式应用来防止这种情况：异常值一出现就被量化。这个过程可能需要大量的计算，特别是对于LLMs。为了解决这个问题，OBQ方法使用了一种技巧，避免在每次简化权重时重新进行整个计算。量化权重后，它通过删除与该权重相关的行和列(使用高斯消去)来调整计算中使用的矩阵(Hessian矩阵)。该方法还采用向量化的方法，一次处理多行权矩阵。尽管OBQ的效率很高，但随着权值矩阵的增大，OBQ的计算时间也会显著增加。
在本地Windows机器加载大模型并生成内容
最新发布
oscar999的专栏
03-25 860
本篇演示在本地机器下载和加载大模型并获取AI产生的内容。简单起见，使用的大模型是Qwen2.5-0.5B-Instruct，整个模型的所有文件不到1G。Qwen2.5-0.5B-Instruct 是阿里巴巴云 QWen 团队基于Transformer 架构开发的轻量级指令调优语言模型，专为资源有限场景设计。环境准备。
【笔记】AutoModelForCausalLM
热门推荐
weixin_50862344的博客
06-05 2万+
初学者肯定有很多不对头的地方，麻烦大家多多指点！！！
autogptq
03-11
对于那些希望进一步优化其部署环境中的模型性能的人来说，`AutoGPTQ` 提供了多种配置选项来自定义量化参数，比如位宽(bit-width)，这有助于平衡精度损失与运行效率之间的关系。 #### 注意事项 当处理特定硬件平台...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

零點零壹

你的鼓励将是我创作的最大动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值