7.1-系统调用和 UNIX Shell

最新推荐文章于 2023-12-19 11:38:23 发布
最新推荐文章于 2023-12-19 11:38:23 发布
阅读量429 收藏 2
点赞数 1
分类专栏： jyy操作系统2022 文章标签： unix linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46227276/article/details/128998391
版权
文章探讨了操作系统如何作为状态机的管理者，特别是在多线程和程序执行中的角色。重点介绍了UNIXShell，它是用户与操作系统交互的接口，将用户的指令转化为系统调用。文中还讨论了Shell的实现，包括命令执行、重定向、管道和JobControl，并通过一个零依赖的Shell示例展示了其基本功能。此外，文章提到了终端、JobControl的机制以及信号处理在进程管理中的作用。
摘要由CSDN通过智能技术生成

复习

  • 状态机模型 (程序、多线程程序、操作系统)
  • 操作系统是状态机的管理者

本次课回答的问题

  • Q: 我们是操作系统的用户；但操作系统提供的 API 并不是 “我们” 作为人类用户能直接使用的。那 “我们” 到底怎么用操作系统？

本次课主要内容

  • UNIX Shell 的设计和实现

一、Shell

半学期小结：我们都学了什么？

整个计算机系统世界的 “构建”

  • 硬件 (NEMU)：从 CPU Reset 开始执行指令 (计算和 I/O)
  • Firmware: 加载操作系统
  • 操作系统：状态机的管理者
    • 初始化第一个进程 (状态机)
    • 执行系统调用

例子：linux-minimal.zip

  • 整个系统里只需要 “一个程序”
    • busybox/toybox/…
  • 这个程序可以再执行各种应用程序
    • vim; dosbox; xeyes; …

为用户封装操作系统 API

我们需要一个 “用户能直接操作” 的程序管理操作系统对象。

这就是 Shell (内核 Kernel 提供系统调用；Shell 提供用户接口)

  • “与人类直接交互的第一个程序”
  • 帮助人类创建/管理进程 (应用程序)、数据文件……

The UNIX Shell

“终端” 时代的伟大设计

  • “Command-line interface” (CLI) 的巅峰

Shell 是一门 “把用户指令翻译成系统调用” 的编程语言

  • man sh (推荐阅读！), bash, …
  • 原来我们一直在编程
    • 直到有了 Graphical Shell (GUI)
    • Windows, Gnome, Symbian, Android

二、复刻经典

脾气有点小古怪的 UNIX 世界

“Unix is user-friendly; it’s just choosy about who its friends are.”

  • 但如果把 shell 理解成编程语言，“不好用” 好像也没什么毛病了
    • 你见过哪个编程语言 “好用” 的？

img

(UNIX 世界有很多历史遗留约定)

A Zero-dependency UNIX Shell (from xv6)

sh-xv6.c

  • 零库函数依赖 (-ffreestanding 编译、ld 链接)
  • 可以作为最小 Linux 的 init 程序
  • 用到文件描述符：一个打开文件的 “指针”

支持的功能

  • 命令执行 ls
  • 重定向 ls > a.txt
  • 管道 ls | wc -l
  • 后台 ls &
  • 命令组合 (echo a ; echo b) | wc -l


gcc -c -ffreestanding sh-xv6.c -g -O2
ld sh-xv6.o -o sh
file sh
# sh: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), statically linked, with debug_info, not stripped

objdump -d sh | less
# sh：     文件格式 elf64-x86-64
# Disassembly of section .text:
# 0000000000401000 <syscall>:
#   401000:       48 8d 44 24 08          lea    0x8(%rsp),%rax
#   401005:       48 89 74 24 d8          mov    %rsi,-0x28(%rsp)
#   40100a:       4d 89 c2                mov    %r8,%r10
#   40100d:       48 89 44 24 c0          mov    %rax,-0x40(%rsp)
#   401012:       48 8d 44 24 d0          lea    -0x30(%rsp),%rax
#   401017:       48 89 54 24 e0          mov    %rdx,-0x20(%rsp)
#   40101c:       48 89 44 24 c8          mov    %rax,-0x38(%rsp)
#   401021:       48 63 c7                movslq %edi,%rax
#   401024:       48 89 f7                mov    %rsi,%rdi
#   401027:       48 89 d6                mov    %rdx,%rsi
#   40102a:       48 89 4c 24 e8          mov    %rcx,-0x18(%rsp)
#   40102f:       48 89 ca                mov    %rcx,%rdx

/start


gdb sh
starti
layout src
n
n
s
s
n
n
finish
n

A Zero-dependency UNIX Shell (from xv6)

img

我们应该如何阅读 sh-xv6.c 的代码？

  • strace + gdb!
    • set follow-fork-mode, set follow-exec-mode

关键点

  • 命令的执行、重定向、管道和对应的系统调用
  • 这里用到 minimal.S 会简化输出
echo './a.out > /tmp/a.txt' | strace -f ./sh
  • 还可以用管道过滤不想要的系统调用

The Shell Programming Language

基于文本替换的快速工作流搭建

  • 重定向: cmd > file < file 2> /dev/null
  • 顺序结构: cmd1; cmd2, cmd1 && cmd2, cmd1 || cmd2
  • 管道: cmd1 | cmd2
  • 预处理: $(), <()
  • 变量/环境变量、控制流……

Job control

  • 类比窗口管理器里的 “叉”、“最小化”
    • jobs, fg, bg, wait
    • (今天的 GUI 并没有比 CLI 多做太多事)

UNIX Shell: Traps and Pitfalls

img

在 “自然语言”、“机器语言” 和 “1970s 的算力” 之间达到优雅的平衡

  • 平衡意味着并不总是完美
  • 操作的 “优先级”？
    • ls > a.txt | cat (bash/zsh)
  • 文本数据 “责任自负”
    • 有空格？后果自负！(PowerShell: 我有 object stream pipe 啊喂)
  • 行为并不总是 intuitive
$ echo hello > /etc/a.txt
bash: /etc/a.txt: Permission denied
$ sudo echo hello > /etc/a.txt
bash: /etc/a.txt: Permission denied

展望未来

Open question: 我们能否从根本上改变命令行的交互模式？

Shell 连接了用户和操作系统

  • 是 “自然语言”、“机器语言” 之间的边缘地带！
  • 非常适合 BERT 这样的语言模型

已经看到的一些方向

三、终端和 Job Control

Shell 还有一些未解之谜

为什么 Ctrl-C 可以退出程序？

为什么有些程序又不能退出？

  • 没有人 read 这个按键，为什么进程能退出？
  • Ctrl-C 到底是杀掉一个，还是杀掉全部？
    • 如果我 fork 了一份计算任务呢？
    • 如果我 fork-execve 了一个 shell 呢？
      • Hmmm……

为什么 fork-printf.c 会在管道时有不同表现？

  • libc 到底是根据什么调整了缓冲区的行为？

为什么 Tmux 可以管理多个窗口？

答案：终端

终端是 UNIX 操作系统中一类非常特别的设备！

  • RTFM: tty, stty, …

观察 Tmux 的实现

img

首先，我们可以 “使用” tmux

  • 在多个窗口中执行 tty，会看到它们是不同的终端设备！

然后，我们也可以把 tmux “打开”

  • strace (-o) 可以看到一些关键的系统调用 (以及 man 7 pty)

终端相关的 API

为什么 fork-printf 能识别 tty 和管道？

  • 当然是观察 strace 了！
    • 找到是哪个系统调用 “识别” 出了终端？
#include <stdio.h>

int main() {
  printf("Hello, World\n");
}

Session, Process Group 和信号

img

参考 signal-handler.c

SIGSEGV 和 SIGFPE

大家熟悉的 Segmentation Fault/Floating point exception (core dumped)

  • #GP, #PF 或 #DIV
    • UNIX 系统会给进程发送一个信号
    • 此时可以生成一个 “core” 文件 (ELF 格式)，能用 gdb 调试

UNIX (System V) 信号其实是有一些 dark corners 的

  • 如果 SIGSEGV 里再次 SIGSEGV?
    • POSIX.1 solved the portability mess by specifying sigaction(2), which provides explicit control of the semantics when a signal handler is invoked; use that interface instead of signal().
      • 支持多线程 (早期的 UNIX 还没有多线程)、信号屏蔽、……

Job Control 背后的机制

RTFM: setpgid/getpgid(2)，它解释了 process group, session, controlling terminal 之间的关系

——你神奇地发现，读手册不再是障碍了！

  • The PGID (process-group ID) is preserved across an execve(2) and inherited in fork(2)…
  • Each process group is a member of a session

img

Job Control: RTFM (cont’d)

  • A session can have a controlling terminal.
    • At any time, one (and only one) of the process groups in the session can be the foreground process group for the terminal; the remaining process groups are in the background.
      • ./a.out & 创建新的进程组 (使用 setpgid)
    • If a signal is generated from the terminal (e.g., typing the interrupt key to generate SIGINT), that signal is sent to the foreground process group.
      • Ctrl-C 是终端 (设备) 发的信号，发给 foreground 进程组
      • 所有 fork 出的进程 (默认同一个 PGID) 都会收到信号
      • 可以修改 signal-handler.c 观察到这个行为

Job Control: RTFM (cont’d)

  • Only the foreground process group may read(2) from the terminal; if a background process group tries to read(2) from the terminal, then the group is sent a SIGTTIN signal, which suspends it.
    • 这解释了 cat & 时你看到的 “suspended (tty input)”
    • 同一个进程组的进程 read tty 会竞争
    • signal-handler.c 同样可以观察到这个行为
  • The setpgid() and getpgrp() calls are used by programs such as bash(1) to create process groups in order to implement shell job control.
    • 如果希望从进程组里 detach, 使用 setpgid
    • ps -eo pid,pgid,cmd 可以查看进程的 pgid

总结

本次课回答的问题

  • Q: 我们作为用户，到底怎么 “使用” 操作系统？

Take-away messages

  • 一个功能完整的 Shell 使用的操作系统对象和 API

    • session, process group, controlling terminal
    • 文件描述符：open, close, pipe, dup, read, write
    • 状态机管理：fork, execve, exit, wait, signal, kill, setpgid, getpgid, …

  • 随着 “零依赖” 的

    sh-xv6.c

    ，操作系统的神秘感逐渐消失

    • (下次课拆开库函数)
绿洲213
关注
专栏目录
unix系统之系统调用
pk_20140716的专栏
03-05 1549
系统调用（system call）是操作系统提供给程序调用的接口，程序调用系统调用完成所需的系统任务。 系统调用类似于我们平常使用的工具包。当你需要钳子时，你就从工具包中拿出钳子使用。当你需要老虎钳时，你就从工具包中拿出老虎钳使用。当你需要螺丝刀，你就从工具包中拿出螺丝刀使用……系统调用也是同样的原理，当你需要获取当前时间时，你可以调用获取当前时间的系统调用。当你需要创建文件时，你可以调用创建文件
IBM官方文档之AIX7.1操作系统和设备管理2014中文版.zip
02-26
10. **系统编程与自动化**：涵盖了AIX下的Shell脚本编程、系统调用和程序接口，以及如何利用自动化工具如RACF、Tivoli Automation Director提升运维效率。 总之，《IBM官方文档之AIX7.1操作系统和设备管理2014中文...
UNIX系统调用大全
03-14
unix系统调用大全，用实例讲解unix/linux 系统调用，可作为工具看看
Unix系统中的系统调用和库调用
maopaopao2087的专栏
07-30 732
系统调用：System calls  库函数： Library Functions 系统调用是内核提供的接口（entry points），库函数是对系统调用接口的封装。 Version 7 :   50个。 4.4BSD： 110个。 SVR4：   120个。 Linux:    根据版本不同，有大概240~260个系统调用。 Free BSD:    320个。 系统调
UNIX系统调用和库函数(详细讲解)
smart_jackli的博客
05-06 1090
系统调用接口总是在《UNX 程序员手册》的第2部分中说明，是用C语言定义的，与具体系统如何调用一个系统调用的实现技术无关。用户进程用标准 C 调用序列来调用这些函数，然后，函数又用系统所要求的技术调用相应的内核服务。例如，printf 函数会调用write 系统调用以输出一个字符串，但函 strcpy(复制一个字符串)和 atoi(将ASCI转换为整数)并不使用任何内核的系统调用。很多库函数则会调用系统调用。系统调用和库函数之间的另一个差别是:系统调用通常提供一种最小接口，而库函数通常提供比较复杂的功能。
听说C语言很难？怎么不来看看我这篇(八)UNIX系统调用
了不起的盖茨比的博客
02-21 1096
1.写在前面 前面我们已经介绍完了C语言的一些常用知识，以及标准的输入输出，这篇博客我们我们来介绍UNIX系统接口的调用。UNIX操作系统通过一系列的系统调用提供服务，这些系统调用用实际上是操作系统内的函数，它们可以被用户程序调用。本篇博客主要介绍C语言程序中使用一些重要的系统调用。 2.文件描述符 Linux中一切皆文件，所以我们需要了解一下文件描述符。 在UNIX操作系统中，所有的外围设备都被看作文件系统中的文件，因此，所有的输入/输出都要通过读文件或写文件完成。 通过情况下，在读或写文件之前，必须先将
LINUX与UNIX SHELL编程指南(很全)
07-26
第14章 环境和shell变量 132 14.1 什么是shell变量 132 14.2 本地变量 132 14.2.1 显示变量 133 14.2.2 清除变量 133 14.2.3 显示所有本地shell变量 133 14.2.4 结合变量值 134 14.2.5 测试变量是否已经设置 134 ...
绝版经典《Linux与UNIX Shell编程指南》
08-07
第14章 环境和shell变量 132 14.1 什么是shell变量 132 14.2 本地变量 132 14.2.1 显示变量 133 14.2.2 清除变量 133 14.2.3 显示所有本地shell变量 133 14.2.4 结合变量值 134 14.2.5 测试变量是否已经设置 134 ...
LINUX与UNIX SHELL编程指南
12-07
第14章 环境和shell变量 132 14.1 什么是shell变量 132 14.2 本地变量 132 14.2.1 显示变量 133 14.2.2 清除变量 133 14.2.3 显示所有本地shell变量 133 14.2.4 结合变量值 134 14.2.5 测试变量是否已经设置 134 ...
Linux与unix shell编程指南
01-16
本书共分五部分，详细介绍了shell编程技巧，各种UNIX命令及语法，还涉及了UNIX下的文字处理以及少量的系统管理问题。本书内容全面、文字简洁流畅，适合Shell编程人员学习、参考。 目 录 译者序 前言 第一部分 shell ...
十三、系统调用和Shell（freestanding shell, 终端和 job control）
liutit的博客
06-09 296
一、为用户封装操作系统API系统需要一个可以直接操作的界面，Shell（内核提供系统调用，Shell提供用户接口）二、Unix Shell包裹kernel与用户交互的壳。
unix的系统调用是什么_什么是Unix？
cunjiu9486的博客
10-12 411
unix的系统调用是什么Unix operating system is the root of multi-tasking operating systems. We can call Unix as the first modern operating system that provides advanced operating system features like kernel, de...
《UNIX环境高级编程》笔记--中断的系统调用
TODD911的专栏
12-04 2225
在
UNIX系统调用和库函数
02-08 323
所有操作系统都提供多种服务的入口点（接口），程序通过这些入口点向内核请求服务。每个版本的UNIX实现都提供定义明确、数量有限、可直接进入内核的入口点，这些入口点就称为系统调用。 C函数库中的函数可能会调用一个或多个系统调用，但它们并不是内核的入口点，例如printf函数调用write这个系统调用以输出一个字符串，但是函数strcmp和atoi（改变ASCII到整数）函数并不使用任何系统调用。
UNIX操作系统系统调用和缓冲区
枕上雪
03-06 943
UNIX操作系统也是一种程序。由操作系统内核管理着操作系统的各种资源，如CPU、内存，网络、设备、定时器、进程管理、进程间通信等（socket也是一种系统资源，提供了多系统之间进程的通信机制）。 操作系统和内核运行在系统空间，每个普通的用户会单独的给其分配对应的用户空间，但用户没有权限去直接调用系统资源，需要通过内核来调用。内核统一的管理着所有的系统资源，这样才不会...
Unix/linux系统调用_目录与文件
1
03-05 734
#include "apue.h" #include /*文件目录测试*/ int main(int argc, char * argv[]) {  DIR *dp;  struct dirent * dirp;  if(argc != 2)  {   err_quit("usage:ls directory_name");  }    if((dp = opendir(
操作系统系列：Unix进程系统调用fork,wait,exec
无所适从的我的博客
12-19 1999
开发者可以查看创建新进程的系统调用，这个模块会讨论与进程相关的Unix系统调用，下一个模块会讨论Win32 APIs相关的进程。
Linux/Unix中系统调用的过程简介
m0_64880493的博客
05-21 226
在Linux/Unix系统中，系统调用就像普通C函数那样出现在C程序中。但是，一般的函数调用序列并不能将进程的状态从用户态转为核心态，而系统调用可以做到。
Linux/unix的文件系统调用
Tian Jincheng's Blog
03-01 894
文件类型 Linux系统中把一切都看做文件，Linux有7中类型文件：普通文件-、目录(dierectory)文件、符号(link)链接、字符 (character)设备文件、块(block)设备文件、管道(pipe)文件、套接字(socket)文件。其中文件、目录、符号链接会占用磁盘 空间来存储，而块设备、字符设备、套接字、管道是伪文件，并不占用磁盘空间。 ...
esd s7.1-2020
最新发布
01-19
1. 术语和定义：ESD S7.1-2020首先对一些常见的术语和定义进行了解释，以便确保读者对标准的理解和适用。 2. 静电相关概念：文档介绍了ESD的基本概念、现象和影响，以及ESD防护措施的重要性。它还解释了ESD的原因和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

绿洲213

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值