一篇文章了解计算机底层知识

JAVA程序员之计算机底层知识

微机原理 计算机组成原理 操作系统

  • 入门:《编码:隐匿在计算机软硬件背后的语言》《深入理解计算机系统》 *

  • 数据结构与算法: -毕生的学习 leetcode
    C JAVA 《C Primer Plus》
    《Java数据结构与算法》《算法》*
    《算法导论》《计算机程序设计艺术》

  • 操作系统:Linux内核设计与实现 30天自制操作系统

  • 网络:机工《TCP/IP详解》卷一

  • 编译原理:机工龙书 编译原理》《编程语言实现模式》马语

  • 数据库:SQLite源码 Derby JDK自带数据库
    在这里插入图片描述
    精简版笔记地址:http://mashibing.com/doc/

1. 硬件基础知识

Intel cpu的制作过程 https://haokan.baidu.com/v?vid=11928468945249380709&pd=bjh&fr=bjhauthor&type=video
在这里插入图片描述

1.1 CPU的原理 晶体管

晶体管的工作原理 https://www.bilibili.com/video/av47388949?p=2
在这里插入图片描述在这里插入图片描述

1.2 CPU和内存是计算机核心

在这里插入图片描述

CPU的基本组成

PC (记录当前指令地址)+指令字长
Registers(暂时存储CPU计算需用到的数据 与CPU位数相关)
ALU (运算)
CU(控制)
MMU(内存管理单元 )硬件+OS实现
cache
在这里插入图片描述

1.3 量子计算机

量子比特,同时表示1 0
在这里插入图片描述

1.4 汇编语言(机器语言)的执行过程

  • 汇编语言的本质:机器语言的助记符 本质就是机器语言

  • 编译性语言:源代码一次性转换成二进制指令,也就是生成一个可执行程序,比如C语言、C++、Golang、Pascal(Delphi)、汇编等

  • 解释性语言:一边执行一边转换,需要哪些源代码就转换哪些源代码,不会生成可执行程序,比如 Python、JavaScript、PHP、Shell、MATLAB

  • JAVA通过虚拟机JVM解释来实现跨平台
    汇编语言的执行过程

汇编实现引导程序(不重要)
编写汇编码

在这里插入图片描述

编译

nasm boot.asm -o boot.bin

制作启动软盘

dd if=/dev/zero of=floppy.img bs=1474560(1.44M)count=1 生成空白软盘镜像
dd if=boot.bin of=myos.img bs=512 count=1 制作包含主引导记录boot.bin的启动镜像文件
dd if=floppy.img of=myos.img skip=1 seek=1 bs=512 count=2879 在 bin 生成的镜像文件后补上空白,成为合适大小的软盘镜像,一共2880个扇区,略过第一个

用软盘启动系统

将myos.img下载到windows
VMWare创建空的虚拟机
文件 - 创建新的虚拟机 - 典型
稍后安装操作系统
其他
一路next 完成
虚拟机设置,去掉CD/DVD选项中“启动时连接”
网络,选择“仅主机模式”,勾选“启动时连接”(好像无所谓)
添加软盘驱动器 使用软盘映像 找到myos.img
启动虚拟机

为什么是0x7C00?

IBM小故事
在这里插入图片描述

2、存储器的层次结构

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
按块读取
程序局部性原理 充分发挥总线、CPU针脚一次性读取更多数据能力

2.1 缓存行装不下->锁总线

在这里插入图片描述

伪共享->缓存行对齐(*)

对于特别敏感的数字,会存在线程高竞争的访问,为了保证补发下伪共享,可以使用缓存行对齐的编程方式
JDK7中很多采用 long padding提高效率
JDK8中添加注解 @Contended,需要加上:JVM-XX:-RestrictContended,保证不在同一缓存行
缓存行-内存页-硬盘块
在这里插入图片描述

2.2 Cache一致性协议

在这里插入图片描述
不同CPU对应不同缓存一致性协议
在这里插入图片描述

3、CPU的特性

3.1 多流水线执行

在这里插入图片描述

3.2 乱序执行的证明

乱序执行可能会产生问题:DCL单例为什么要加volatile(用锁屏障,不是原语实现):禁止指令重排序
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3 禁止乱序

CPU层面:Intel->原语(mfence ifence sfence)或者锁总线

在这里插入图片描述

硬件上保证顺序执行的两种方式

在这里插入图片描述
原语效率比lock指令效率高
在这里插入图片描述

JVM层面:8个hanppens-before原则 4个内存屏障(LL LS SL SS)
4个内存屏障

在这里插入图片描述

volatile实现

前后都加内存屏障 实际上具体实现还是用lock指令
在这里插入图片描述

8个hanppens-before原则

在这里插入图片描述
as-if-serial:不管硬件什么顺序,单线程执行结果不变,看上去像是serial
在这里插入图片描述

WC Write Combining Buffer 合并写技术(不重要)

juc/c029 一般是4个字节 由于ALU速度太快,所以在写入L1同时,写入一个WC Buffer,满了之后,再直接更新到L2
在这里插入图片描述

UMA与NUMA

ZGC-NUMA aware 分配内存会优先分配该线程所在CPU的最近内存
在这里插入图片描述
在这里插入图片描述

启动过程(不重要)

cmos 记录配置信息
通电->bios uefi芯片工作->自检->到硬盘固定位置加载bootloader->读取可配置信息->CMOS->OS在这里插入图片描述

4、OS基础

4.1 内核分类

微内核 -弹性部署 5G IoT
宏内核 -PC phone
外核 -科研 实验中 为应用定制操作系统(多租户 request-based GC JVM)
在这里插入图片描述
在这里插入图片描述

宏内核

在这里插入图片描述

微内核

在这里插入图片描述

外核

在这里插入图片描述

VMM

在这里插入图片描述
在这里插入图片描述

4.2 用户态和内核态

CPU分不同的指令级别 linux内核跑在ring 0级,用户程序跑在ring 3级,对于系统的关键访问,需要经过kernel同意,保证系统健壮性 内核执行的操作->200多个系统调用 sendfile read write pthread fork
JVM - > 站在OS老大角度,就是个普通程序
在这里插入图片描述

4.3 进程 线程 纤程/协程

面试高频:进程和线程有什么区别?

进程就是一个程序运行起来的状态,线程是一个进程中的不同执行路径。
专业:进程是OS分配资源的基本单位,线程是执行调度的基本单位。
分配资源最重要的是:独立的内存空间,线程调度执行(线程共享进程的内存空间,没有自己独立的内存空间)
在这里插入图片描述
在这里插入图片描述

纤程

纤程:用户态的线程,用户空间级别的线程,线程中的线程,切换和调度不需经过OS
优势: 1 占有资源很有 os: 线程 1M Fiber 4K 2 切换比较简单 3 启动很多个10W+
目前支持内置纤程的语言:Kotlin Scala Go Python(lib) …Java(open jdk :loom)
在这里插入图片描述
Java对于纤程的支持:没有内置,盼望内置
在这里插入图片描述

线程和纤程的区别

10000个Fiber->1个JVM线程
提高效率 10000Fiber->10份->10Threads
在这里插入图片描述
在这里插入图片描述

纤程的应用场景

纤程vs线程池:很短的计算任务,不需和内核打交道,并发量高!

进程

在这里插入图片描述
内核独用的线程
在这里插入图片描述
在这里插入图片描述

僵尸进程和孤儿进程

僵尸进程只占PCB
孤儿进程影响不大
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

进程(任务)调度

在这里插入图片描述
在这里插入图片描述
Unix O(1) 采用时间片调度策略
2.6采用CFS调度策略:Completely Fair Scheduler 按优先级分配时间片的比例,记录每个进程的执行时间,如果有一个进程执行时间不到他应该分配的比例,优先执行在这里插入图片描述
在这里插入图片描述
默认调度策略:实时(急诊):优先级分高低-FIFO(First In First Out),优先级一样-RR(Round Robin) 普通:CFS
在这里插入图片描述

4.3 中断

硬件跟操作系统内核打交道的一种机制
硬中断(硬件打断内核)与软中断(int 0x80中断,软件打断内核,系统调用)(200多个调用函数)
在这里插入图片描述
在这里插入图片描述

从汇编角度理解软中断

搭建汇编环境:yum install nasm
在这里插入图片描述
编译: nasm -f elf hello.asm -o hello.o
链接:Id -m elf_i386 -o hello hello.o
一个程序的执行过程,要么处于用户态,要么处于内核态
在这里插入图片描述
高并发量实现:分而治之
在这里插入图片描述

4.4 内存管理

内存管理的发展历程

DOS时代 - 同一时间只能一个进程在运行(也有些特殊算法可支持多进程)
windows9x - 多进程装入内存 1 内存不够用 2 相互打扰
为解决这两个问题,诞生了现在的内存管理系统:虚拟地址 分页装入 软硬件结合寻址
在这里插入图片描述

分页 - 解决内存不够用问题

内存中分成固定大小的页框(4K),把程序(硬盘上)分成4K大小的块,用到哪块,加载哪块,加载过程中,若内存已满,会把最不常用的一块放到swap分区,把最新的一块加载进来,这个就是著名的LRU算法 (LeetCode146题,头条要求手撕,阿里去年也要求)
在这里插入图片描述
LRU Least Recently Used 最不常用
哈希表(保证查找操作O(1))+单链表(保证排序操作和新增操作O(1) ) ->O(1)
Linked HashMap(JDK自带类,实现缓存)
双向链表(保证左边指针指向右边块)
在这里插入图片描述

虚拟内存 - 解决相互打扰问题

1.DOS Win31… 相互干掉
2.为了保证互不影响 - 让进程工作在虚拟空间,程序中用到的空间地址不再是直接的物理地址,而是虚拟的地址,这样,A进程永远不可能访问到B进程的空间
3.虚拟空间多大? 寻址空间-64位系统2^64 byte,比物理空间大很多
4. 站在虚拟的角度,进程是独享整个系统+CPU
在这里插入图片描述
在这里插入图片描述
5.内存映射:偏移量+段的基地址=线性地址(虚拟空间)
6.线性地址通过OS+MMU(硬件 Memory Managemen Unit)转换为物理地址
7.缺页中断 (缺页异常) 需要用到的页面内存中没有,由内核处理并加载
在这里插入图片描述
在这里插入图片描述

ZGC

算法叫做:Colored Pointer
GC信息记录在指针上,而不是记录在头部,immediate memory use
42位指针 寻址空间4T JDK13->16T 目前醉倒16T 2^44
颜色指针本质上包含了地址映射、虚拟地址的概念
在这里插入图片描述

CPU如何区分一个立即数 和 一条指令

总线内部分为:数据总线 地址总线 控制总线
地址总线目前:48位

4.5 内核同步机制

关于同步理论的一些基本概念

•临界区(critical area): 访问或操作共享数据的代码段 简单理解:synchronized大括号中部分(原子性)
•竞争条件(race conditions)两个线程同时拥有临界区的执行权
•数据不一致:data unconsistency 由竞争条件引起的数据破坏
•同步(synchronization)避免race conditions
•锁:完成同步的手段(门锁,门后是临界区,只允许一个线程存在) 上锁解锁必须具备原子性

•原子性(象原子一样不可分割的操作)
•有序性(禁止指令重排) volatile
•可见性(一个线程内的修改,另一个线程可见) volatile

互斥锁 排他锁 共享锁 分段锁

内核同步常用方法

1.原子操作 – 内核中类似于AtomicXXX,位于<linux/types.h>
2.自旋锁 – 内核中通过汇编支持的cas,位于<asm/spinlock.h>
3.读-写自旋 – 类似于ReadWriteLock,可同时读,只能一个写 :读的时候是共享锁,写的时候是排他锁
4.信号量 – 类似于Semaphore(PV操作 down up操作 占有和释放): 重量级锁,线程会进入wait,适合长时间持有的锁情况
5.读-写信号量 – downread upread downwrite upwrite(多个写,可以分段写,比较少用)(分段锁)
6.互斥体(mutex) – 特殊的信号量(二值信号量)
7.完成变量 – 特殊的信号量(A发出信号给B,B等待在完成变量上) vfork() 在子进程结束时通过完成变量叫醒父进程 类似于(Latch)
8.BKL:大内核锁(早期,现在已经不用)
9.顺序锁(2.6): – 线程可以挂起的读写自旋锁
序列计数器(从0开始,写时增加(+1),写完释放(+1),读前发现单数,说明有写线程,等待,读前读后序列一样,说明没有写线程打断)
10.禁止抢占 – preempt_disable()
11.内存屏障 见volatile

5、IO

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值