一篇文章了解计算机底层知识

最新推荐文章于 2022-08-01 10:28:28 发布

X之

最新推荐文章于 2022-08-01 10:28:28 发布

阅读量821

点赞数 1

分类专栏： JAVA 文章标签： java

本文链接：https://blog.csdn.net/qq_30647191/article/details/117002261

版权

JAVA 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

JAVA程序员之计算机底层知识

微机原理计算机组成原理操作系统

入门：《编码：隐匿在计算机软硬件背后的语言》《深入理解计算机系统》 *
数据结构与算法： -毕生的学习 leetcode
C JAVA 《C Primer Plus》
《Java数据结构与算法》《算法》*
《算法导论》《计算机程序设计艺术》
操作系统：Linux内核设计与实现 30天自制操作系统
网络：机工《TCP/IP详解》卷一
编译原理：机工龙书编译原理》《编程语言实现模式》马语
数据库：SQLite源码 Derby JDK自带数据库

精简版笔记地址：http://mashibing.com/doc/

1. 硬件基础知识

Intel cpu的制作过程 https://haokan.baidu.com/v?vid=11928468945249380709&pd=bjh&fr=bjhauthor&type=video
在这里插入图片描述

1.1 CPU的原理晶体管

晶体管的工作原理 https://www.bilibili.com/video/av47388949?p=2
在这里插入图片描述

1.2 CPU和内存是计算机核心

在这里插入图片描述

CPU的基本组成

PC （记录当前指令地址）+指令字长
Registers（暂时存储CPU计算需用到的数据与CPU位数相关）
ALU （运算）
CU（控制）
MMU（内存管理单元）硬件+OS实现
cache
在这里插入图片描述

1.3 量子计算机

量子比特，同时表示1 0
在这里插入图片描述

1.4 汇编语言（机器语言）的执行过程

汇编语言的本质：机器语言的助记符本质就是机器语言
编译性语言：源代码一次性转换成二进制指令，也就是生成一个可执行程序，比如C语言、C++、Golang、Pascal（Delphi）、汇编等
解释性语言：一边执行一边转换，需要哪些源代码就转换哪些源代码，不会生成可执行程序，比如 Python、JavaScript、PHP、Shell、MATLAB
JAVA通过虚拟机JVM解释来实现跨平台

汇编实现引导程序（不重要）

编写汇编码

在这里插入图片描述

编译

nasm boot.asm -o boot.bin

制作启动软盘

dd if=/dev/zero of=floppy.img bs=1474560（1.44M）count=1 生成空白软盘镜像
dd if=boot.bin of=myos.img bs=512 count=1 制作包含主引导记录boot.bin的启动镜像文件
dd if=floppy.img of=myos.img skip=1 seek=1 bs=512 count=2879 在 bin 生成的镜像文件后补上空白，成为合适大小的软盘镜像，一共2880个扇区，略过第一个

用软盘启动系统

将myos.img下载到windows
VMWare创建空的虚拟机
文件 - 创建新的虚拟机 - 典型
稍后安装操作系统
其他
一路next 完成
虚拟机设置，去掉CD/DVD选项中“启动时连接”
网络，选择“仅主机模式”，勾选“启动时连接”（好像无所谓）
添加软盘驱动器使用软盘映像找到myos.img
启动虚拟机

为什么是0x7C00?

IBM小故事
在这里插入图片描述

2、存储器的层次结构

在这里插入图片描述

按块读取
程序局部性原理充分发挥总线、CPU针脚一次性读取更多数据能力

2.1 缓存行装不下->锁总线

在这里插入图片描述

伪共享->缓存行对齐（*）

对于特别敏感的数字，会存在线程高竞争的访问，为了保证补发下伪共享，可以使用缓存行对齐的编程方式
JDK7中很多采用 long padding提高效率
JDK8中添加注解 @Contended，需要加上：JVM-XX:-RestrictContended，保证不在同一缓存行
缓存行-内存页-硬盘块
在这里插入图片描述

2.2 Cache一致性协议

在这里插入图片描述
不同CPU对应不同缓存一致性协议

3、CPU的特性

3.1 多流水线执行

在这里插入图片描述

3.2 乱序执行的证明

乱序执行可能会产生问题：DCL单例为什么要加volatile（用锁屏障，不是原语实现）：禁止指令重排序
在这里插入图片描述

3.3 禁止乱序

CPU层面：Intel->原语（mfence ifence sfence）或者锁总线

在这里插入图片描述

硬件上保证顺序执行的两种方式

在这里插入图片描述
原语效率比lock指令效率高

JVM层面：8个hanppens-before原则 4个内存屏障（LL LS SL SS）

4个内存屏障

在这里插入图片描述

volatile实现

前后都加内存屏障实际上具体实现还是用lock指令
在这里插入图片描述

8个hanppens-before原则

在这里插入图片描述
as-if-serial：不管硬件什么顺序，单线程执行结果不变，看上去像是serial

WC Write Combining Buffer 合并写技术(不重要)

juc/c029 一般是4个字节由于ALU速度太快，所以在写入L1同时,写入一个WC Buffer,满了之后,再直接更新到L2
在这里插入图片描述

UMA与NUMA

ZGC-NUMA aware 分配内存会优先分配该线程所在CPU的最近内存
在这里插入图片描述

启动过程（不重要）

cmos 记录配置信息
通电->bios uefi芯片工作->自检->到硬盘固定位置加载bootloader->读取可配置信息->CMOS->OS 在这里插入图片描述

4、OS基础

4.1 内核分类

微内核 -弹性部署 5G IoT
宏内核 -PC phone
外核 -科研实验中为应用定制操作系统（多租户 request-based GC JVM）
在这里插入图片描述

宏内核

在这里插入图片描述

微内核

在这里插入图片描述

外核

在这里插入图片描述

VMM

在这里插入图片描述

4.2 用户态和内核态

CPU分不同的指令级别 linux内核跑在ring 0级，用户程序跑在ring 3级，对于系统的关键访问，需要经过kernel同意，保证系统健壮性内核执行的操作->200多个系统调用 sendfile read write pthread fork
JVM - > 站在OS老大角度，就是个普通程序
在这里插入图片描述

4.3 进程线程纤程/协程

面试高频：进程和线程有什么区别？

进程就是一个程序运行起来的状态，线程是一个进程中的不同执行路径。
专业：进程是OS分配资源的基本单位，线程是执行调度的基本单位。
分配资源最重要的是：独立的内存空间，线程调度执行（线程共享进程的内存空间，没有自己独立的内存空间）
在这里插入图片描述

纤程

纤程：用户态的线程，用户空间级别的线程，线程中的线程，切换和调度不需经过OS
优势： 1 占有资源很有 os: 线程 1M Fiber 4K 2 切换比较简单 3 启动很多个10W+
目前支持内置纤程的语言：Kotlin Scala Go Python(lib) …Java(open jdk :loom)
在这里插入图片描述
Java对于纤程的支持：没有内置，盼望内置

线程和纤程的区别

10000个Fiber->1个JVM线程
提高效率 10000Fiber->10份->10Threads
在这里插入图片描述

纤程的应用场景

纤程vs线程池：很短的计算任务，不需和内核打交道，并发量高！

进程

在这里插入图片描述
内核独用的线程

僵尸进程和孤儿进程

僵尸进程只占PCB
孤儿进程影响不大
在这里插入图片描述

进程(任务)调度

在这里插入图片描述

Unix O(1) 采用时间片调度策略
2.6采用CFS调度策略：Completely Fair Scheduler 按优先级分配时间片的比例，记录每个进程的执行时间，如果有一个进程执行时间不到他应该分配的比例，优先执行

默认调度策略：实时（急诊）：优先级分高低-FIFO（First In First Out），优先级一样-RR（Round Robin）普通：CFS
在这里插入图片描述

4.3 中断

硬件跟操作系统内核打交道的一种机制
硬中断（硬件打断内核）与软中断（int 0x80中断，软件打断内核，系统调用）（200多个调用函数）
在这里插入图片描述

从汇编角度理解软中断

搭建汇编环境：yum install nasm
在这里插入图片描述
编译： nasm -f elf hello.asm -o hello.o
链接：Id -m elf_i386 -o hello hello.o
一个程序的执行过程，要么处于用户态，要么处于内核态

高并发量实现：分而治之

4.4 内存管理

内存管理的发展历程

DOS时代 - 同一时间只能一个进程在运行（也有些特殊算法可支持多进程）
windows9x - 多进程装入内存 1 内存不够用 2 相互打扰
为解决这两个问题，诞生了现在的内存管理系统：虚拟地址分页装入软硬件结合寻址
在这里插入图片描述

分页 - 解决内存不够用问题

内存中分成固定大小的页框（4K），把程序（硬盘上）分成4K大小的块，用到哪块，加载哪块，加载过程中，若内存已满，会把最不常用的一块放到swap分区，把最新的一块加载进来，这个就是著名的LRU算法（LeetCode146题，头条要求手撕，阿里去年也要求）
在这里插入图片描述
LRU Least Recently Used 最不常用
哈希表（保证查找操作O(1)）+单链表（保证排序操作和新增操作O(1) ） ->O(1)
Linked HashMap（JDK自带类，实现缓存）
双向链表（保证左边指针指向右边块）

虚拟内存 - 解决相互打扰问题

1.DOS Win31… 相互干掉
2.为了保证互不影响 - 让进程工作在虚拟空间，程序中用到的空间地址不再是直接的物理地址，而是虚拟的地址，这样，A进程永远不可能访问到B进程的空间
3.虚拟空间多大？寻址空间-64位系统2^64 byte，比物理空间大很多
4. 站在虚拟的角度，进程是独享整个系统+CPU
在这里插入图片描述

5.内存映射：偏移量+段的基地址=线性地址（虚拟空间）
6.线性地址通过OS+MMU（硬件 Memory Managemen Unit）转换为物理地址
7.缺页中断（缺页异常）需要用到的页面内存中没有，由内核处理并加载

ZGC

算法叫做:Colored Pointer
GC信息记录在指针上，而不是记录在头部，immediate memory use
42位指针寻址空间4T JDK13->16T 目前醉倒16T 2^44
颜色指针本质上包含了地址映射、虚拟地址的概念
在这里插入图片描述

CPU如何区分一个立即数和一条指令

总线内部分为：数据总线地址总线控制总线
地址总线目前：48位

4.5 内核同步机制

关于同步理论的一些基本概念

•临界区（critical area）: 访问或操作共享数据的代码段简单理解：synchronized大括号中部分（原子性）
•竞争条件（race conditions）两个线程同时拥有临界区的执行权
•数据不一致：data unconsistency 由竞争条件引起的数据破坏
•同步（synchronization）避免race conditions
•锁：完成同步的手段（门锁，门后是临界区，只允许一个线程存在）上锁解锁必须具备原子性

•原子性（象原子一样不可分割的操作）
•有序性（禁止指令重排） volatile
•可见性（一个线程内的修改，另一个线程可见） volatile

互斥锁排他锁共享锁分段锁

内核同步常用方法

1.原子操作 – 内核中类似于AtomicXXX，位于<linux/types.h>
2.自旋锁 – 内核中通过汇编支持的cas，位于<asm/spinlock.h>
3.读-写自旋 – 类似于ReadWriteLock，可同时读，只能一个写：读的时候是共享锁，写的时候是排他锁
4.信号量 – 类似于Semaphore(PV操作 down up操作占有和释放）：重量级锁，线程会进入wait，适合长时间持有的锁情况
5.读-写信号量 – downread upread downwrite upwrite（多个写，可以分段写，比较少用）(分段锁）
6.互斥体(mutex) – 特殊的信号量（二值信号量）
7.完成变量 – 特殊的信号量（A发出信号给B，B等待在完成变量上） vfork() 在子进程结束时通过完成变量叫醒父进程类似于(Latch)
8.BKL：大内核锁（早期，现在已经不用）
9.顺序锁（2.6）： – 线程可以挂起的读写自旋锁
序列计数器（从0开始，写时增加(+1)，写完释放(+1)，读前发现单数，说明有写线程，等待，读前读后序列一样，说明没有写线程打断）
10.禁止抢占 – preempt_disable()
11.内存屏障见volatile

5、IO

X之

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
一篇文章了解计算机底层知识

DAY1 JAVA程序员需要掌握的计算机底层知识微机原理计算机组成原理操作系统书：入门：《编码：隐匿在计算机软硬件背后的语言》《深入理解计算机系统》 *数据结构与算法： -毕生的学习 leetcodeC JAVA 《C Primer Plus》《Java数据结构与算法》《算法》*《算法导论》《计算机程序设计艺术》操作系统：Linux内核源码解析 30天自制操作系统网络：机工《TCP/IP详解》卷一编译原理：机工龙书编译原理》《编程语言实现模式》马语数据库：SQLite源码 De
复制链接

扫一扫