字节跳动(os/python)

二. 操作系统

①进程，线程，协程

进程和线程的区别

进程：是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竞争计算机系统资源的基本单位。
线程：是进程的一个执行单元，是进程内调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程

进程同步

进程同步：在多道程序环境下，进程是并发执行的，不同进程之间存在着不同的相互制约关系
临界资源：对于某些资源来说，其在同一时间只能被一个进程所占用。
对临界资源的访问，必须互斥地进行，在每个进程中，访问临界资源的那段代码称为临界区。为了保证临界资源的正确使用，可以把临界资源的访问过程分成四个部分：

1. 进入区。为了进入临界区使用临界资源，在进入区要检查可否进入临界区，如果可以进入临界区，则应设置正在访问临界区的标志，以阻止其他进程同时进入临界区。
2. 临界区。进程中访问临界资源的那段代码，又称临界段。
3. 退出区。将正在访问临界区的标志清除。
4. 剩余区。代码中的其余部分。

同步亦称直接制约关系，它是指为完成某种任务而建立的两个或多个进程，这些进程因为需要在某些位置上协调它们的工作次序而等待、传递信息所产生的制约关系。进程间的直接制约关系就是源于它们之间的相互合作。（例如，输入进程A通过单缓冲向进程B提供数据。当该缓冲区空时，进程B不能获得所需数据而阻塞，一旦进程A将数据送入缓冲区，进程B被唤醒。反之，当缓冲区满时，进程A被阻塞，仅当进程B取走缓冲数据时，才唤醒进程A。）

操作系统进程调度有哪些算法

1. 先来先服务
   

2. 轮转法
   

3. 最短进程
   

4. 最短剩余时间
   最短剩余时间（Shortest Remaining Time,SRT）是针对SPN增加了抢占机制的版本。在这种情况下，调度程序总是选择预期剩余时间最短的进程。当一个进程加入就绪队列时，它可能比当前运行的进程具有更短的剩余时间，因此只要新进程就绪，调度程序就可能抢占当前正在运行的进程。像SPN一样，调度程序在执行选择函数时必须有关于处理时间的估计，并且存在长进程饥饿的危险。

5. 优先权调度算法
   为了照顾紧迫性作业，使之进入系统后便获得优先处理，引入了最高优先权优先（FPF）调度算法。 此算法常被用在批处理系统中，作为作业调度算法，也作为多种操作系统中的进程调度，还可以用于实时系统中。当其用于作业调度， 将后备队列中若干个优先权最高的作业装入内存。当其用于进程调度时，把处理机分配给就绪队列中优先权最高的进程

6. 多级反馈队列调度算法
   

7. 抢占式调度算法
   
   详解

进程和线程切换，线程的状态

进程的切换：需要保存以下内容：
标识符： 唯一标识一个进程
状态： 记录进程状态，如阻塞、就绪、运行等状态
优先级： 记录进程的优先级，可以根据优先级对进程执行调度
程序计数器PC： 指向进程中下一条将要执行的指令
内存指针： 程序代码和进程相关诗句的指针
上下文数据： 进程运行时，CPU中寄存器的内容
I/O状态信息： 显示的I/O请求，分配给进程的I/O设备、被进程使用的文件列表等
记账信息： 处理器的时间总和、记账号等
线程的切换： 线程共享进程的资源，进行线程切换时，只需要保存线程的私有数据：栈、程序计数器、寄存器

---

进程切换的开销比线程切换的开销大： 进程的上下文切换需要保存更多的信息，比线程的上下文切换开销更大

详解

实现进程同步的机制有什么

1. 信号量机制
2. 自旋锁
3. 管程
4. 会合
5. 分布式系统

详解

多线程是怎么使用的，该怎么设计一个线程池

线程池：线程池顾名思义就是事先创建若干个可执行的线程放入一个池（容器）中，需要的时候从池中获取线程不用自行创建，使用完毕不需要销毁线程而是放回池中，从而减少创建和销毁线程对象的开销
一个线程池包括以下几部分：
线程管理器 (ThreadPool)：用于创建并管理线程池，包括创建线程，销毁线程池，添加新任务
工作线程 (PoolWorker)：线程池中线程，在没有任务时处于等待状态，可以循环的执行任务
任务接口 (Task)：每个任务必须实现的接口，以供工作线程调度任务的执行，它主要规定了任务的入口，任务执行完后的收尾工作，任务的执行状态等
任务队列 (TaskQueue)：用于存放没有处理的任务。提供一种缓冲机制

不同线程的堆栈相同吗

每个线程有自己的堆栈

爬虫适合用多进程还是多线程

总体来看，大概多线程可能是最佳人选，爬虫大部分操作都是密集I/O操作

线程与协程

详解

②Linux

Linux中五种IO模型

详解

Linux TOP命令

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器
详解

Linux上怎么调试程序

1. print语句
2. 查询
3. 跟踪
4. Valgrind

详解

Linux 程序写文件时 rm 能否成功 rm -f呢

详解

索引查找在Linux的磁盘上是怎么操作的

详解

写时拷贝技术 (copy on write)

用shell看系统的负载

1. top命令
2. uptime命令

rm -f之后 正在写文件的程序会怎样 报什么错

怎么远程登录Linux（SSH）

用基于SSH的软件

SSH能免密登录吗

详解

find查找某个命令后缀

详解

③锁相关

共享锁和排他锁

共享锁（S锁）：共享 (S) 用于不更改或不更新数据的操作（只读操作），如 SELECT 语句
如果事务T对数据A加上共享锁后，则其他事务只能对A再加共享锁，不能加排他锁。获准共享锁的事务只能读数据，不能修改数据
排他锁（X锁）：用于数据修改操作，例如 INSERT、UPDATE 或 DELETE。确保不会同时同一资源进行多重更新
如果事务T对数据A加上排他锁后，则其他事务不能再对A加任任何类型的封锁。获准排他锁的事务既能读数据，又能修改数据

乐观锁悲观锁

我们在操作数据库的时候，可能会由于并发问题而引起的数据的不一致性（数据冲突）

乐观锁：
乐观锁不是数据库自带的，需要我们自己去实现。乐观锁是指操作数据库时(更新操作)，想法很乐观，认为这次的操作不会导致冲突，在操作数据时，并不进行任何其他的特殊处理（也就是不加锁），而在进行更新后，再去判断是否有冲突了
悲观锁：
与乐观锁相对应的就是悲观锁了。悲观锁就是在操作数据时，认为此操作会出现数据冲突，所以在进行每次操作时都要通过获取锁才能进行对相同数据的操作，这点跟java中的synchronized很相似，所以悲观锁需要耗费较多的时间。另外与乐观锁相对应的，悲观锁是由数据库自己实现了的，要用的时候，我们直接调用数据库的相关语句就可以了

实现一个读写锁

不会（捂脸）
详解

设计一个无锁队列

这部分实在没时间看了，问到就说俺不会吧
详解

死锁的原因，避免死锁的办法，生产者消费者模型（让消费者等是用wait还是sleep）

死锁的原因：
（1）竞争不可抢占性资源
（2）竞争可消耗资源
（3）进程推进顺序不当

产生死锁的四个必要条件：
（1） 互斥条件：一个资源每次只能被一个进程使用。
（2） 请求和保持条件：一个进程因请求资源而阻塞时，对已获得的资源保持不放。
（3） 不可抢占条件:进程已获得的资源，在末使用完之前，不能强行剥夺，只能在进程使用完时由自己释放。
（4） 循环等待条件:若干进程之间形成一种头尾相接的循环等待资源关系。

避免死锁的方法：
方法一：
方法二：

④进程 线程 协程

协程的原理

协程：在执行过程中可中断去执行其他任务，执行完毕后再回来继续原先的操作。可以理解为两个或多个程序协同工作

协程的优势，协程更轻体现在哪里

线程和协程的堆栈的异同

单线程怎么做的持久化

详解

进程间通信的方式，哪种最快，管道有哪几种

详解

进程的内存

详解

内存对齐是什么

详解

⑤其他

IO多路复用

详解

异步IO和同步IO，阻塞IO和非阻塞IO

详解

select poll epoll

详解

如何实现一个同步非阻塞的请求

详解

信号量的实现机制

见上

信号量的生产者消费者模型

见上

文件描述符

详解

mysql有哪些引擎，区别是什么

写数据到磁盘，从系统调用开始到真正写到磁盘上 中间copy了多少次

CtrlC可以终止程序，我们是否可以在程序终止的时候做一些别的操作？

可以
当我们在键盘按下Ctrl+C组合键时，系统向当前终端运行的程序发送名为 SIGINT，值为2的中断信号。
默认情况下，程序收到 SIGINT 信号后会直接退出程序。
如果我们为 SIGINT 信号处理器自定义一个处理方法，那程序就会执行这个方法后再退出。

用户态如何切换到内核态

用户空间：
用户可以操作和访问的空间，这个空间通常存放我们用户自己写的数据等等
内核空间：
系统内核来操作的一块空间，这块空间里面存放系统内核的函数、接口等等

当一个程序运行时，如果它是在用户空间下执行，我们把此时运行得程序的这种状态成为用户态，而当这段程序执行在内核的空间执行时，这种状态称为内核态

为什么要分用户态和内核态

信号量怎么实现对共享资源的访问

操作系统如何识别TCP连接

telnet(?)

虚拟内存

虚拟内存是计算机系统内存管理的一种技术。它使得应用程序认为它拥有连续可用的内存（一个连续完整的地址空间），而实际上，它通常是被分隔成多个物理内存碎片，还有部分暂时存储在外部磁盘存储器上，在需要时进行数据交换

虚拟地址和物理地址

详情

操作系统的中断

详解

CPU调度方式

详解

⑦设计题

设计一个定时任务管理器

看看就行，反正也不会写（捂脸）
详解

实现一个LFU，要求实现set和get方法，复杂度为O(1)（该题的LFU是一个存储空间，有容量，是整数n，存key-value对，每访问一次这个kv对的频率就加一，如果新set kv对 的时候，已经达到容量上限，删除频率最低的kv对）

Leetcode460 hard难度

一个高并发定时执行任务：实现一个方法 接受一个任务以及它要开始执行的时间，定时执行这些任务，会有很多任务（设计了个数据结构用空间换时间，后来又问有没有别的方法，我当时脑袋一抽说要不就开goroutine，不过任务太多就爆了。后来回去想想 可以用优先队列）

三. Python

编译型代码和解释型代码的区别

Python中的内存管理机制

讲一下Python GC的原理和详细解释（分代，标记回收，内存划分）

元组和list的区别

迭代器和生成器（及两者区别）

什么是装饰器

如何构造一个生成器

Python中的GIL

详解

GIL是单线程的，Python的多线程实现有什么用

详解

GIL是什么，为什么会有，有什么作用，怎么规避它对于并行的影响

GIL:
详解
规避影响：
详解

Python多线程用了几个CPU

一个

python有真正的多线程吗（可以用到多核吗）

没有

Python的并发

详解

Python中static_method，class_method和普通method有什么区别

classmethod：类方法
staticmethod：静态方法
使用类方法和静态方法时不需要实例化一个对象

Python的sort和sorted

sort() 是列表内置的函数
sorted() 是Python内置的全局方法来对可迭代的序列排序生成新的序列

Python中的map怎么实现的（java中的hashmap底层怎么实现的）

详解

Python中的dict底层怎么实现的

Python中，字典是通过散列表或说哈希表实现的
详解

Python中list的底层怎么实现的

详解

双等于和is有什么区别

双等于： 判断数值
is ： 判断地址

Python协程实现一个生产者消费者模型

详解

Python的重写与重载

重写 ：
重写是指子类重写父类的成员方法。子类可以改变父类方法所实现的功能， 但子类中重写的方法必须与父类中对应的方法具有相同的方法名。也就是说 要实现重写，就必须存在继承
重载：
重载方法的名称是相同的，但在方法的声明中一定要有彼此不相同的成
份，以使编译器能够区分这些方法
Python不存在重载（弱类型语言）

Python items 和 iter-items的区别

items() ：
字典的items方法作用：是可以将字典中的所有项，以列表方式返回。因为字典是无序的，所以用items方法返回字典的所有项，也是没有顺序的
iter-items()：
字典的iter-items方法作用：与items方法相比作用大致相同，只是它的返回值不是列表，而是一个迭代器

immutable跟mutable，Python中自建对象一般是可变还是不可变

pyc是什么文件（编译的py文件）

详解

10亿个数字，取最小的100个数（说思路 ：最小堆，partition两者的时间复杂度，写伪代码）

最小堆 O（N）复杂度
其他相似题目