- 博客(490)
- 资源 (68)
- 收藏
- 关注
RSS订阅原创 比Linus更牛逼的程序员，QEMU、FFmpeg的作者
Linus Torvalds是个非常厉害的程序员，因为他有两个名扬天下的作品：Linux和Git。如果单论技术能力，有一个人，也许比Linus更强。我在看他主页项目列表的时候，感觉头都炸了。他开发了著名的模拟器QEMU和音视频处理库FFmpeg，仅仅是这两项就超越绝大部分程序员了，他还写过C编译器，OpenGL实现，LTE软基站，JS引擎，让Linux在浏览器中跑起来，甚至还创造了计算圆周率的世界纪录......
2022-11-04 19:32:05
2963
原创 Virtio1.2 新功能介绍
新版本的virtio1.2规范已经发布了，在1.1版本发布后的三年里，已经积累了相当多的变化。下面列出其中的一些关键部分；关于细节，可以查看具体规范。
2022-10-29 22:07:19
1219
转载 Geek新鲜事-初版的Rust支持已合并到Linux内核
初始的 Rust 基础设施代码已合并到 Linux 6.1 内核的主线 Git 代码树中[1]。Linus 在几周前的内核峰会上就已表达过这样的计划 ，人们也普遍预计这会发生，但就在本周末，仍有一些 Linux 用户对 Rust 编程语言支持 Linux 内核的想法持不同意见。不过现在它已经落地了。
2022-10-15 16:44:30
962
原创 linux虚拟内存、异步io及零拷贝简介
本文从虚拟内存、I/O 缓冲区，用户态&内核态以及 I/O 模式等等知识点全面而又详尽地剖析 Linux 系统的 I/O 底层原理，分析了 Linux 传统的 I/O 模式的弊端，进而引入 Linux Zero-copy 零拷贝技术的介绍和原理解析，将零拷贝技术和传统的 I/O 模式进行区分和对比，帮助读者理解 Linux 内核对 I/O 模块的优化改进思路。
2022-09-28 11:18:08
514
原创 linux xdp简介
XDP（eXpress Data Path）为Linux内核提供了高性能、可编程的网络数据路径。由于网络包在还未进入网络协议栈之前就处理，它给Linux网络带来了巨大的性能提升（性能比DPDK还要高）。
2022-08-30 22:26:29
1445
原创 LZ4压缩算法简介
lz77编码思想：它是一种基于字典的算法，它将长字符串（也可以称为匹配项或者短语）编码成短小的标记，用小标记代替字典中的短语，也就是说，它通过用小的标记来代替数据中多次重复出现的长字符串来达到数据压缩的目的。其处理的符号不一定是文本字符，也可以是其他任意大小的符号。............
2022-08-18 22:13:05
5424
2
原创 Linux系统压力测试工具stress
iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。.........
2022-07-11 22:20:19
1207
原创 Linux网络通信优化方法
Linux 网络在性能方面有哪些优化手段可用呢？本文将给出一些开发或者运维中的 Linux 网络性能优化建议。要注意的是，每一种性能优化方法都有它适用或者不适用的应用场景，应当根据当前的项目现状灵活来选择用或者不用。...
2022-06-30 10:21:48
598
原创 io_uring异步io简介
io_uring 是facebook开发的，从 5.1 就进 Linux 内核主线了，但陆续改进到 5.11 才有了 kLoop 需要的全部功能，并且仍在持续改进中。笼统来讲，应用程序用内存映射（mmap）的方式拿到两条与内核共享的环状队列，通过其中一条队列（SQ）给内核源源不断的布置任务，然后从另外一条队列（CQ）获取结果；内核则按需进行 epoll()，并在一个线程池中执行就绪的任务。...
2022-06-29 08:45:42
995
原创 虚拟磁盘discard在qemu中的应用
对于SSD的操作人们提出了新的需求：需要在数据删除的时候通知硬盘，将数据立即清理掉，在这种需求下，trim指令[1]诞生了，trim指令允许操作系统在SSD上将不再使用的数据通知到SSD底层并在其内部将数据擦除掉。...
2022-06-24 22:52:24
2959
原创 ACPI规范概览-2
高级配置与电源接口（Advanced Configuration and Power Interface，ACPI）的应用已经广泛分布在计算机领略的各个细分市场。从手机、笔记本电脑、台式机到工作站和服务器上都可以找到它的身影。从体系架构上来看，不光X86阵营，ARM生态圈也加入进来。...
2022-06-23 11:24:04
1293
原创 ACPI规范概览-1
ACPI可以被理解为一个与体系结构无关的电源管理和配置框架，作为OS的一个子系统。这个框架建立了一个硬件寄存器集来定义电源状态(睡眠、休眠、唤醒等)。硬件寄存器集可以兼容专用硬件和通用硬件。标准ACPI框架的主要目的是无需直接从OS本地调用固件进行电源管理和系统配置。ACPI作为操作系统和系统固件之间的接口层。...
2022-06-23 11:16:41
1707
原创 三款Go Playground分享
曾几何时，语言的在线运行（Playground）似乎成了标配。确实，Playground 能够让我们可以快速试验一些想法。Go 语言在发布之初就提供了一个，这就是 https://play.golang.org。然而，由于众所周知的原因，我们访问不了。为了方便国内广大 gopher，我搞了一个国内镜像：https://play.studygolang.com，尽情使用、分享吧。1.官方的 Playground不得不说，Go 官方的 Playground 真的比较原始。提供的功能比较少，主要有：格式
2022-04-25 14:10:04
1535
原创 Harvester云计算超融合基础架构HCI软件
2020年12月17日，业界应用最为广泛的Kubernetes管理平台创建者Rancher Labs（以下简称Rancher）宣布推出全新开源软件Harvester，一个通过Kubernetes构建的超融合基础架构（HCI）软件。Harvester在裸机服务器上提供完全集成的存储和虚拟化功能，无需拥有Kubernetes相关知识，即可轻松上手。值得关注的是，Harvester是一个完全由Rancher中国研发团队设计和开发的开源软件，也是Rancher中国研发团队出色技术实力的有力佐证。
2022-04-02 11:21:25
3486
原创 Proxmox支持虚拟机和容器的虚拟化平台
Proxmox VE是可以运行在虚拟机和容器的虚拟化平台。Proxmox VE基于 Debian Linux开发，并且完全开源。出于灵活性的考虑，Proxmox VE同时支持两种虚拟化 技术：KVM 虚拟机和 LXC 容器。Proxmox VE的一个重要设计目标就是尽可能简化管理员的工作。用单机模式使用 Proxmox VE，也可以组建多节点 Proxmox VE集群。所有的管理工作都可以通过基于 web 页面的管理界面完成，即使是一个小白用户也可以在几分钟内上手安装使用 Proxmox VE。Pr.
2022-04-02 10:53:34
3641
原创 软件开发中Alpha、Beta、RC、GA版本的含义
GAGeneral Availability，正式发布的版本，官方开始推荐广泛使用，国外有的用GA来表示release版本。RELEASE正式发布版，官方推荐使用的版本，有的用GA来表示。比如spring。Stable稳定版，开源软件有的会用stable来表示正式发布的版本。比如Nginx。Final最终版，也是正式发布版的一种表示方法。比如Hibernate。RCRelease Candidate，发行候选版本，基本不再加入新的功能，主要修复bug。是最终发布成正式...
2022-03-29 10:55:41
2777
转载 getrandom() 将在新内核中得到80倍以上的性能提升
随机数生成器代码最近在 WireGuard 的创建者 Jason Donenfeld 领导下进行了多项改进。在 Linux 5.17 中，SHA1 在随机代码中被替换为 BLAKE2，使其性能和安全性得到很大提升。在 Linux 5.18 中他对随机代码作出了更多的改进。Donenfeld 一直在进行更多随机数生成器增强功能，目标是在今年3月底内核合并窗口引入到 Linux 5.18。一个有趣的变化是 getrandom() 系统调用在新内核下可以更快。获取随机数的函数 getrandom() 使用.
2022-03-02 22:15:00
869
原创 优秀软件架构师成长之路
成为一名优秀架构师，是很多程序员努力的方向。相关的讨论也从没停过，除了大家说烂了的那些架构师的特质和需要具备的技能外，还有很多是我们可以在工作和学习过程中重点培养和关注的能力。1. 在软件工程师职业发展的各个阶段中，架构师担任着怎样的定位？• lv.1 程序员 主要实现软件功能、编写代码、处理漏洞等。经过沉淀，程序员可以晋升为高级程序员，负责某些模块具体和复杂功能的设计和开发，并编写核心代码。• lv.2 技术Leader 这个阶段，可能负责一个小团队，关注技术管理，如交付效率和交付质量，同时
2022-02-27 11:40:11
6415
原创 Linux读写缓存Page Cache
一、 读写缓存Page CacheLinux对文件读写并不是每次都进行磁盘IO，而是将对应的磁盘文件缓存到内存上，之后对该文件的操作实际上也是对内存的读写。缓存俗称页缓存(page cache)，而被修改过但还没写入磁盘的页缓存称为脏页(dirty page)。页缓存可以通过/proc/meminfo查看,页缓存为Cached，脏页为Dirty。上图中，红色部分为 Page Cache。Page Cache 的本质是由 Linux 内核管理的内存区域。通过 mmap 以及 buffered I/O
2022-02-23 09:51:53
2593
1
原创 Rust性能分析-迭代器的enumerate方法是否会影响程序性能
Rust编程语言融合了多种编程法(programming paradigm)，其中的命令式编程(imperative programming)所用的循环和函数式编程(functional programming)所提供的迭代器(iterator)可以加强数组或是切片的访问性能。然而，在访问数组或是切片时，迭代器在每次迭代时只会回传元素的值或引用，而不会将索引值也跟着回传出来。这个问题虽然可以通过迭代器的enumerate方法来轻松解决，enumerate会让迭代器回传目前是第几次的迭代(从0开始数)，这个
2022-02-15 14:30:47
1437
原创 通过qemu调试centos7内核
通过qemu-kvm调试内核/usr/libexec/qemu-kvm -kernel arch/x86/boot/bzImage -initrd initramfs.cpio.gz -s -S -append nokaslr -vnc :0-kernel bzImage：指定内核路径-initrd file:指定initramdisk路径-s:-gdb tcp::1234的缩写, 开启一个gdbserver, 可以通过TCP端口1234连接-S: 启动后立即暂停-append nokasl
2022-01-18 21:20:38
917
原创 RPC调用链通信方法
RPC调用链可以将远程过程调用变成一个有效的堆栈。当我们编写应用程序时，我们中的许多人认为REST是服务间通信的一个通用标准。然而，还有许多其他形式的通信，RPC就是其中之一。值得注意的是，通信方式的选择取决于许多因素，如业务需求、遗留代码、技术和预算，更不用说你选择的架构模式。在分布式计算中很受欢迎，RPC（远程过程调用）是一个程序，其中计算机程序在不同的计算机（服务器）中执行，而程序（代码）抽象出客户端和服务器之间的连接。你们中的许多人可以在互联网上了解RPC，但我发现很难找到关于 "RPC链"
2022-01-17 15:14:39
1938
原创 libvirt热迁移报Connection refused错误解决办法
通过virsh命令迁移虚拟机virsh migrate --live --verbose testvm qemu+ssh://192.168.10.215/system tcp://192.168.10. 215 --unsafe”–verbose 指迁移demo3虚拟机，192.168.10.215为节点2的IP地址，使用tcp协议连接–unsafe参数表示跳过安全检测提示下面的错误error: unable to connect to server at '192.168.10.215:16
2021-12-29 18:36:37
1339
原创 装修时水电如何开槽？沟槽如何封堵？有哪些防止沟槽开裂的方法
大家好，我是专注家居和装修知识分享的家居杂坛。在这里，我会尽可能地把我所知道的一些知识分享给大家，希望大家能够支持！文章导语：现阶段家庭装修，在开始的时候几乎都要进行水电改造。这是由于商品房的水电是按照基本功能进行设置的，一般不能够满足我们家庭中使用的需要。所以说，在装修时要根据实际的情况去把这些水电再重新布置。水电改造中有水管和线管布置的时候，基本上都需要在墙面或者是地面上开槽。那么我们在墙面和地面开槽时需要注意哪些问题呢？开沟槽又有哪些标准呢？家居杂坛就想在这篇文章中给大家详细的说说水电沟槽的相关.
2021-12-28 21:10:59
1474
原创 rust异步之async、await、future
1. 简单的异步 asyncThe most common way to run a Future is to .await it. When .await is called on a Future, it will attempt to run it to completion.执行 Future的最简单方法就是调用 awaituse futures::executor::block_on;async fn say_hi() { println!("nice");}fn
2021-12-23 13:43:39
863
原创 KVM中断虚拟化（二）
PIC虚拟化计算机系统有很多的外设需要服务，显然，CPU采用轮询的方式逐个询问外设是否需要服务，是非常浪费CPU的计算的，尤其是对那些并不是频繁需要服务的设备。因此，计算机科学家们设计了外设主动向CPU发起服务请求的方式，这种方式就是中断。采用中断方式后，在没有外设请求时，CPU就可以继续其他计算任务，而不是进行很多不必要的轮询，极大地提高了系统的吞吐[1] 在每个指令周期结束后，如果CPU关中断标识（IF）没有被设置，那么其会去检查是否有中断请求，如果有中断请求，则运行对应的中断服务程序，然后返回被中断
2021-12-01 10:12:38
1077
1
原创 KVM中断虚拟化（一）
中断是计算机系统中非常重要的部分，计算机基础理论书籍往往也会花上很多篇幅讨论中断，但是因为操作系统都替开发人员处理好中断了，所以除非是系统工程师，否则一般开发人员对中断很难有一个很直观的认识，因此理解如何通过软件的方式来模拟中断更是一个挑战。因此，在本章中，我们简单介绍硬件中断的基本原理，然后结合中断的基本原理讨论如何虚拟化中断芯片。我们从起初IBM PC为单核系统设计的PIC(8259A)机制开始，讨论到为多核系统设计的APIC，一直到绕开I/O APIC、从设备直接向LAPIC发送基于消息的MSI机制
2021-12-01 10:00:09
4590
原创 shell等待特定进程pid退出的方法
Bash 内置了 wait 命令用于等待进程的退出，并返回其退出码：wait [-n] [n ...]Wait for each specified child process and return its termination status.Each n may be a process ID or a job specification; if a job spec is given, all processes in that job's pipeline are waited for.I
2021-11-09 19:22:48
4230
原创 VDUSE（vDPA Device in Userspace）技术简介
VDUSE简介VDUSE（vDPA Device in Userspace）技术是字节跳动2020年10月向 Linux 内核社区正式开源的一项技术，通过VDUSE可以在一个用户进程实现一个软件定义的 vDPA 设备，并可以通过上述 vDPA 框架接入 virtio 或者 vhost 子系统，供容器或者虚机使用。此技术将在Linux 5.15 版本中首次引入。vDPA（virtio data path acceleration）设备是一个使用符合virtio规范的数据路径的设备，具有厂商特定的控制路径
2021-10-24 12:04:24
2177
原创 leetcode那些算法都用在了哪里
本文来源于一篇stackexchange的问题回答。提问者问到，我们在计算机科学和数学课程里面学习到的那些算法，到底在什么地方用到了？结果Vijay D给出一个洋洋洒洒的深入回答。Vijay D写到：在我看来，一个系统背后主要发挥作用的算法更容易在非算法课程上找到，这和应用数学中的成果比理论数学中更容易出现在应用中是一个道理。在讲座中，很少有实际问题能够精确匹配到一个抽象问题。归根结底，我认为没有理由让流行的算法课程，诸如Strassen乘法，AKS素性测试、或者Moser-Tardos算法与底层实际问
2021-10-23 12:02:52
288
原创 QEMU多进程(Multi-process QEMU)及vfio-user应用
1.Qemu现状-多线程锁竞争2.Qemu现状-项目依赖太多$ readelf -d /usr/bin/qemu-system-x86_64 | grep NEEDED | wc -l60$ ldd /usr/bin/qemu-system-x86_64 | wc -l1583.Qemu现状-代码太过于庞大，大多数是C代码并且增长飞快4.Qemu多进程最终目标5.Qemu多进程原理6.VFIO-User 原理7.VFIO-User通过DMA模拟设备流程8.Qemu多进程支
2021-10-22 16:19:15
1165
原创 kvm虚拟机性能调优
kvm虚拟机性能调优kvm性能优化，主要集中在cpu、内存、磁盘、网络，4个方面，当然对于这里面的优化，也是要分场景的，不同的场景其优化方向也是不同的，下面具体聊聊这4个方面的优化细节。1. CPUcpu优化需要搞清楚node、socket、core、logic processor的关系，知道内存、l3-cache、l2-cache、l1-cache和cpu的关系。针对kvm的优化，一般情况，都是通过pin，将vm上的cpu绑定到某一个node上，让其共享l3-cache，优先选择node上的内存，
2021-09-26 19:04:57
5200
原创 kvm网卡虚拟化之vdpa技术
以前提到过vdpa，只有mellanox connectx-5网卡，不支持vdpa，公司最近来了mellanox DPU，也就是bluefield-2，自带connectx-6网卡，硬件支持vdpa。1. 需求虚拟机cpu加速有intel vt-x，memory加速有intel ept技术，剩下就是网络和存储io加速，io路径长，网络io路径是虚拟机virtio-ovs-vxlan-host内核协议栈出物理机，存储io是虚拟机virtio-qemu-host内核存储栈到ceph，io大量占用host上的
2021-09-26 18:59:36
1297
原创 Centos8 cmake运行失败 undefined symbol archive_write_add_filter_zstd
centOS8(x86_64 或 aarch64) 系统下 yum或dnf 默认安装的 cmake-3.18.2-11.el8版本，安装后无法使用，出现：cmake: symbol lookup error: cmake: undefined symbol: archive_write_add_filter_zstd错误。该错误解决办法两种：第一种：安装 libarchivednf install libarchive 或者 yum install libarchive第二种： 安
2021-09-08 17:29:51
1730
原创 程序员常用的画图软件推荐
常用图平时画的比较多的是流程图、交互图和架构图，一般使用 Draw.io 这款免费的在线网页绘图工具就可以搞定了。之所以选择这款绘图工具，主要是以下几个原因：1. 使用方便无需登录，直接进入网页，可以直接使用海量模板新建项目。选择模板然后进入编辑页面，在左侧选择需要的图形，拖到绘图区进行编辑，然后在右侧修改样式就好了。Draw.io 在线绘图可以直接搜索需要的图形，比如服务器，当然也可以直接粘贴本地或网络图片。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7
2021-08-25 20:34:29
17639
原创 Git管理代码常用术语
WIP - Work in progress, do not merge yet. // 开发中LGTM - Looks good to me. // Riview 完别人的 PR ，没有问题PTAL - Please take a look. // 帮我看下，一般都是请别人 review 自己的 PRCC - Carbon copy // 一般代表抄送别人的意思RFC - request for comments. // 我觉得这个想法很好, 我们来一起讨论下IIRC - if I recal.
2021-08-23 10:24:07
179
适用于 centos7安装的 bpftrace工具rpm包
2023-11-10
编译原理单元习题-华保健.rar
2021-02-24
Q-Dir文件浏览
2017-09-14
md5sum命令行计算工具
2017-09-14
C语言图像处理程序集
2015-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人