linux
文章平均质量分 53
weixin_40293999
前几年web后端,后来AI深度学习,会一些运维。 AI聚焦于CV领域,熟悉nlp
展开
-
【linux】linux和windows的互传
linux和windows的互传:把数据从linux上放回到win上来。原创 2024-07-02 14:33:07 · 233 阅读 · 0 评论 -
递归删除.txt的文件
find dir -name "*.txt" | xargs rm -rf原创 2024-05-23 15:01:04 · 91 阅读 · 0 评论 -
【运维】linux通过ssh登录用公钥而不是密码登录
主要ref了这篇文章:https://blog.csdn.net/qiaomuv/article/details/134531742。原创 2024-05-06 15:46:29 · 112 阅读 · 2 评论 -
【内网穿透】frp指引
ref:https://gofrp.org/zh-cn/docs/ 记录下,就几行命令的事!原创 2024-04-28 13:16:44 · 83 阅读 · 0 评论 -
ssdsim安装调试实录
wsl2 安装指引https://blog.csdn.net/weixin_51245887/article/details/124393376。ssdsim 代码:https://github.com/huaicheng/ssdsim。原创 2024-03-28 17:25:03 · 162 阅读 · 0 评论 -
【操作系统】知识补漏进程之间的关系和线程调度&自旋锁&磁盘格式化【后面的部分难】
如果在forking之后立即调用exec(),由于exec()会替换掉进程,那么fork()是否会重复创建所有线程将没有任何意义,在这种场景下,仅需重复创建调用者所在的线程即可。然而,如果在forking之后,独立的进程没有调用exec(),则新创建的进程会重复创建所有的线程。如果一个线程调用了fork(),会创建包含所有线程的进程还是会创建仅包含一个线程的进程?一些UNIX系统提供了两种版本的fork(),一种会创建重复所有线程,而另一种仅会创建调用fork()的线程。2. real-time 模式。原创 2024-01-31 00:13:16 · 393 阅读 · 0 评论 -
【操作系统笔记】-文件系统
为了避免刚删除文件导致空闲链表写回磁盘后马上又有需要写文件导致刚写回的空闲链表块又读回内存,做了一个优化,当内存中的空闲链表块满时,不是整块写回磁盘,而是写一半,然后内存中的空闲块就只剩一半左右的空闲块,来处理临时的释放和申请空闲块,减少磁盘IO。虽然单级目录系统有简单和定位文件快的好处,但是现在计算机的用户通常有成千上万的文件,不可能放到一个目录中,因此需要一种方法将有关系文件分组聚集在一起,一种方案是层级目录,就像一本书的目录,如下图,不仅可以分组聚集相关文件,还可以为不同用户创建独立的目录。原创 2023-12-08 18:30:36 · 543 阅读 · 0 评论 -
移位操作汇总
计算机移位原创 2023-10-27 21:02:31 · 161 阅读 · 0 评论 -
什么是操作系统?
原创 2023-10-26 22:39:06 · 94 阅读 · 0 评论 -
《操作系统真象还原》第一章 部署工作环境
写入虚拟机启动磁盘 dd if=/home/ubuntu/test of=/home/ubuntu/bochs/hd60M.img bs=512 count=1 conv=notrunc。下载Bochs https://udomain.dl.sourceforge.net/project/bochs/bochs/2.6.8/bochs-2.6.8.tar.gz。为即将要安装的bochs创建一个空目录,我的在家目录/home/ubuntu/ 下。进入解压后的文件夹,并且配置编译安装的路径,进行安装。原创 2023-10-15 00:52:30 · 248 阅读 · 0 评论 -
【408复习】在b站开播通知
适合人群,时间不够用,跨考学生,边工作边备课的各位伙伴。从今天开始制作408的讲解课程,欢迎大家来围观;操作系统 《计算机操作系统》第四版 汤小丹。账号:JustinAndCindy。计算机组成原理 唐朔飞 第二版。视频讲解的方式,在b站讲解,原创 2023-10-05 23:06:46 · 354 阅读 · 0 评论 -
【python 多线程】初体验+单线程下载器+多线程并行下载器+ 多进程下载器 以及线程和进程的切换成本比较
至此已完成了单线程和多线程的下载器改造,并分析了python的多线程为啥是伪多线程,适合在什么场景使用。这是慕课的一个系列课程,之前断断续续学习过一遍,那时候没咋用过python,用python两年后再看,还是收获很大!还有协程的知识参加我的另一篇文章: https://mp.csdn.net/mp_blog/creation/success/130478060。原创 2023-09-07 22:33:25 · 786 阅读 · 0 评论 -
[C++学习] 多进程通信共享内存
进程可以将共享内存连接到他们自己的地址空间,如果某个进程修改了共享内存中的数据,其他的进程读到的数据也会改变。key 是 共享内存的标识符, 16进制,owner 创建共享内存的用户或进程的用户ID。共享内存没有提供锁机制,也就是说,在某一个进程对共享内存进行读/写的时候,不会阻止其它进程对它的读/写。在多进程中,每个进程的地址空间是独立的,不共享的,如果多个进程需要访问同一块内存,不能用全局变量,只能用共享内存。多线程共享进程的地址空间,如果多个线程需要访问同一块内存,用全局变量即可。原创 2023-09-07 10:31:31 · 624 阅读 · 0 评论 -
[C++ 学习] 控制信号
这里用到了回调, killall -2 进程名 或者进程号 就可以做到 进程间的信号传递。signal在头文件 singnal.h 中,可以用man 来查看。默认行为, 用singnal可以改变默认行为。原创 2023-09-06 19:41:25 · 297 阅读 · 0 评论 -
[C++学习]静态库和动态库的生成调用
文件目录:├── app└── tool。原创 2023-09-05 14:36:47 · 162 阅读 · 0 评论 -
【论文复现】Learning I/O Access Patterns to Improve Prefetching in SSDs 系列 1
LSTM完成ssd I/的预取git地址: https://github.com/Chandranil2606/Learning-IO-Access-Patterns-to-improve-prefetching-in-SSDs-paper地址: https://people.ucsc.edu/~hlitz/papers/ecml2020.pdf作者的presentation://www.youtube.com/watch?作者的ppt我也没有,在3中可以在线观看。原创 2023-09-04 10:22:41 · 281 阅读 · 0 评论 -
【linux学习】linux的模块机制
Linux允许用户通过插入模块,实现干预内核的目的。一直以来,对linux的模块机制都不够清晰,因此本文对内核模块的加载机制进行简单地分析。原创 2023-08-11 10:05:36 · 205 阅读 · 0 评论 -
【深度学习】基于深度学习的linux服务器,需要搭建哪些服务,一步步搭建深度学习的环境,cuda,pytorch,opencv,ftp服务, nfs服务 docker等等
来来回回的安装服务器,是时间写个pipline了date 查看时间日期函数是对的运维帮忙装了显卡驱动 nvidia-smi -l 是ok的yum命令有但是源还是centos7自带的ping命令和curl命令有,能ping通外网,telnet,wget,tree,netstat,htop,git都没有。原创 2022-12-06 10:21:14 · 1051 阅读 · 0 评论 -
【k8s】k8s运行pod时候的一个错误:The TensorFlow library was compiled to use SSE4.1 instructions, but these aren‘
可以看到目标服务器确实不支持SSE4.1instruction,我猜测可以通过重装系统,或者如何操作让它支持sse4.1 指令,或者重新构建docker包可以完成。这个错误不太常见,我和另外一个研发都觉得,docker是独立出来的一个操作系统,应该不受其它的影响,但看样子是,物理机的指令集不支持造成的。接近的bug ref:https://forums.centos.org/viewtopic.php?开发机的docker 可以运行起来,但是进了服务器的k8s,运行的时候就出错了,报错如上图.原创 2023-07-26 10:39:15 · 246 阅读 · 0 评论 -
【人群密度估计】-论文CCTrans: Simplifying and Improving Crowd Counting with Transformer 以及工程落地记录
论文地址:https://arxiv.org/pdf/2109.14483v1.pdf代码:https://github.com/wfs123456/CCTrans该论文使用的Twins-large模型权重链接已上传百度云:链接:https://pan.baidu.com/s/1QSTA7P-81_uHD6wqzk93Og提取码:8wd4。原创 2023-07-17 17:29:53 · 970 阅读 · 1 评论 -
Docker:overlay2浅析以及解决overlay2 文件过大的问题
最近在学习docker的实现时看到这么一个概念:Union File System,先让我们来介绍介绍它。原创 2023-07-14 12:19:15 · 3085 阅读 · 0 评论 -
k8s 查看程序日志输出
kubectl logs -f pod --tail=xxx xxx为追踪的行数。不重定向的情况下,可以把多进程下的日志都输出出来。总是和k8s大交道,把相关的命令也学习一下。这个错误我得挂在墙上,以警醒后人!docker 环境给环境变量。原创 2023-07-13 16:08:09 · 868 阅读 · 0 评论 -
【milvus】向量数据库,用来做以图搜图+人脸识别的特征向量
第一次装东西,要把遇到的问题和成功经验都记录下来。看一下下载下来的是什么东西报错则需要安装docker-compose了下载最新版的docker-compose 文件添加可执行权限回到docker-compose.yml所在的目录,执行 以上命令开始安装了:执行完以上命令,会有三个docker containers服务起来, 包括:Milvus standalone service and its two dependencies.一个milvus单体服务。以及它的两个依赖。原创 2023-07-13 14:25:42 · 1275 阅读 · 0 评论 -
【Conda迁移环境】
有时候我们好不容易配齐了一个环境,想从A服务器迁移到B服务器上。尤其是哪些偏门的环境。比如能够处理windows 程序的linux环境之类的。我通过这个方法,把一个环境成功迁移到了docker上,花了一天时间,在此记录一下。打包本地conda环境。原创 2023-07-12 14:17:36 · 691 阅读 · 0 评论 -
「解决」pip install xxx 解释器错误: 没有那个文件或目录
bash: /home/raywit/anaconda3/envs/xxx/bin/pip: /home/another/anaconda3/envs/xxx/bin/python: 解释器错误: 没有那个文件或目录。上图是当我拷贝别人环境时发现少包,然后继续pip时出现这样的错,根本原因则是使用pip时路径没修改成自己的。(假定由用户A拷贝到用户B)解决方法:(报pip的错就第一行,conda的话第二行)原创 2023-07-10 15:25:27 · 669 阅读 · 0 评论 -
【linux开发中的一个问题】 tail: 无法使用 inotify 机制,回归为 polling 机制: 打开的文件过多
原因分析:inotify监控程序导致的,这个是监控文件变化机制,这个监控,耗尽了这个参数值解决方案有两个:1.关掉监控程序2.扩大值。原创 2023-07-04 11:46:38 · 1849 阅读 · 0 评论 -
【嵌入式模型转换】2. 算能盒子SE5 芯片板子BM1684 sophon-pipeline
【嵌入式模型转换】1. 算能盒子SE5 芯片板子BM1684本篇文章的目的是要走通一个pipeline。这一段是算能git的介绍:起初看这个是云里雾里的,因为文档太多,后来和算能的工作人员沟通后,要把主要精力放到,这个git仓库的pipeline上。用的是 pipeline的V0.3.4 版本正愁还得确认依赖版本呢,人家的包都给装好了。真是幸福啊~原创 2023-06-26 09:01:12 · 790 阅读 · 5 评论 -
【操作系统】文件系统
缓冲:是解决高速到低速、低速到高速的问题,是为了解决速度不匹配的问题。文件的定义:文件是具有符号名的一组信息的集合,比如源程序、数据、目标程序等。具体来说,它是负责文件的组织、存储、控制和使用的软件的集合、。对文件操作有文件创建、读文件、写文件、截断文件、设置文件的访问位置等.缓存:为了解决距离远近的问题,缓存的数据是重复的,要保证数据一致性;文件访问控制信息:文件的创建者,所有者,读写或运行的许可。文件有文件信息组成的文件体和包含文件属性的文件头组成。文件的使用信息:文件创建的时间日期,最近访问时间等。原创 2023-06-17 18:24:35 · 258 阅读 · 0 评论 -
【嵌入式模型转换】1. 算能盒子SE5 芯片板子BM1684
官网文档指引:https://doc.sophgo.com/sdk-docs/v23.03.01/docs_latest_release/docs/SophonSDK_doc/zh/html/common_test/disclaimer.html写的很好,真的很好,就是太太太太多多多多了。。。。原创 2023-06-15 17:37:22 · 3194 阅读 · 0 评论 -
计算机组成原理(第三版)唐塑飞 答案 第三章
② 计数器定时查询:其特点是,计数可以从“0”开始,此时设备的优先次序是固定的,计数也可以从终止点开始,既是一种循环方式,此时设备使用总线的优先级相等,计数器的初始值还可以由程序设置,故优先次序可以改变。(1)如多个主设备同时要使用总线时,就由总线控制器的判优、仲裁逻辑按一定的优先级顺序,确定那个主设备能使用总线,只有获得总线使用权的主设备才能开始传送数据。3.5 解释概念:总线宽度、总线带宽、总线复用、总线的主设备(或主模块)、总线的从设备(或从模块)、总线的传输周期、总线的通信控制。原创 2023-06-14 18:32:02 · 2462 阅读 · 0 评论 -
《计算机组成原理》唐塑飞 课后答案 第一章
计算机硬件主要通过不同的时间段来区分指令和数据,即:取指周期(或取指微程序)取出的既为指令,执行周期(或相应微程序)取出的位数据。主机、CPU、主存、储存单元、存储原件、存储基元、存储元、存储字、存储字长、存储容量、机器字长、指令字长;存储元件:存储一位二进制信息的物理元件,是存储器中最小的存储单位,又叫存储基元或存储元,不能单独存取;主存:计算机中存放正在运行的程序和数据的存储器,为计算机的主要工作存储器,可随机存取;cpu:中央处理器(机),是计算机硬件的核心部件,由运算器+控制器组成;原创 2023-06-13 19:06:31 · 525 阅读 · 0 评论 -
【计算机组成】-cpu位数,操作系统位数和计算机字长(机器字长)的关系
指令集和CPU的位数是有联系的。如Intel 80386DX CPU 是32位,其指令集也是32位,但它也保持原16位指令集,这是为了向上兼容。有64位CPU上运行32位操作系统、32位CPU上运行16位操作系统的情况,也是为了向上兼容。4.计算机字长(机器字长)取决于数据总线的宽度,通常就是CPU一次能处理的数据的位数(CPU位数)。像平时我们买电脑说的64位的处理器,指的就是字长为64的CPU。1.CPU位数=CPU中寄存器的位数=CPU能够一次并行处理的数据宽度(位数)=数据总线宽度;原创 2023-06-13 11:58:40 · 1228 阅读 · 0 评论 -
【操作系统】Linux进阶必须掌握的进程、线程及调度算法~进程学习
Linux内核源代码中,进程的状态是用数字来表示的,为了弄明白正在运行的进程是什么意思,我们需要知道进程的不同状态。一个进程可以有几个状态(在Linux内核里面,进程有时候也叫任务)/*原创 2023-06-08 15:31:45 · 366 阅读 · 0 评论 -
[C++]双指针应用
【代码】[C++]双指针应用。原创 2023-05-22 23:14:43 · 79 阅读 · 0 评论 -
【操作系统和强化学习】1.内存管理策略
CPU的调度可以提高CPU的利用率和计算机的响应用户的速度。为了改进性能,应该将多个进程保存在内存中。也就是说必须共享内存。本文讨论的是如管理内存。原创 2023-04-30 16:18:47 · 1234 阅读 · 0 评论 -
【性能优化】面试题--什么是性能?如何优化
性能 = 1/ 响应时间时间的倒数,对于计算机的性能,我们需要有个标准来衡量。这个标准中主要有两个指标。1.响应时间(Response time)或者叫执行时间(Execution time)。想要提升响应时间这个性能指标,你可以理解为让计算机“跑得更快”。2.吞吐率(Throughput)或者带宽(Bandwidth),想要提升这个指标,你可以理解为让计算机“搬得更多”。所以说,响应时间指的就是,我们执行一个程序,到底需要花多少时间。花的时间越少,自然性能就越好。原创 2023-04-20 11:47:54 · 344 阅读 · 0 评论 -
【目录迁移】nginx的静态图片目录满了,1需要迁移,但要保持相对目录不变 2.移动好后要压缩,占用位置小一些
target_path = target_base_dir + file_path[len(source_base_dir)-1:] 这个拼接很重要,而不能使用replace,因为只是头部变化了。待完成,若图片已经被删除或不存在,则继续执行。因此需要一个try catch 包裹住 否则, 1.1T的目录,仅仅生成 glob.glob的迭代器就假以时日了。把1个月以外的业务图片移动到其它挂载磁盘,原创 2023-04-07 11:47:36 · 162 阅读 · 0 评论 -
Linux流量监控工具 - iftop (最全面的iftop教程),查看服务器的网络情况
在类Unix系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量,监控TCP/IP连接等,则可以使用iftop。最近一台server的crontab,经常发email,经常发不出去。所以要用iftop查看下网络情况。原创 2023-04-06 13:11:45 · 939 阅读 · 0 评论 -
【linux】常用技巧
84.命令 netstat -a 停了很长时间没有响应,这可能是哪里的问题?27.把一个流中所有字符转换成大写字符,可以使用下面哪个命令?51.Linux中,提供TCP/IP包过滤功能的软件叫什么?38.在ps命令中什么参数是用来显示所有用户的进程的?44.使用什么命令可以在今天午夜运行命令 cmd1?37.如何在文件中查找显示所有以" * "打头的行?74.下面哪条命令用来显示一个程序所使用的库文件?28.使用什么命令可以查看Linux的启动信息?100.下面哪个命令可以查看网卡的中断?原创 2023-04-04 18:26:14 · 1142 阅读 · 0 评论 -
[linux虚拟机]网络连接的三种模式和重要文件夹
[linux虚拟机]网络连接的三种模式和重要文件夹原创 2023-04-01 09:47:18 · 248 阅读 · 0 评论