- 博客(241)
- 收藏
- 关注
RSS订阅原创 linux内存及磁盘管理
total总的内存大小 used使用了多少 buff/cache运行程序的时候有的一些缓存（在used中包括的，可以通过内核参数释放掉） availabel是释放缓存之后的可用内存大小。swap是交换分区，如果内存真的不够用，linux系统程序会将一部分暂时不需要的内存放到交换分区，它占用的空间在磁盘上。2）parted -l查看分区 (显示格式有区别) 可以查看那个分区、分区挂载在那个目录。查看磁盘的类型：（b--块设备，权限不可以随便进行修改） ls -l /dev/sd?
2024-11-11 16:13:30
261
原创 vs code使用git管理代码
点开按钮1会显示当前分支的修改记录，鼠标移动到修改文件上，会显示出”+“号，点击加号按钮，会将你当前的修改文件放入暂存区，相当于add操作，之后可以点击commit上传gitlab远程服务端，此书需要在message中填入修改信息，说明当前文件修改了哪些内容。moba具备图像显示功能，连接服务器后，显示x11，是一个视频传输显示服务，说明服务器支持图像显示功能。如果你的代码想要显示图像，需要在moba中运行该代码，即可显示cv的图像。点击该按钮，会显示你修改了那些文件，及修改说明，文件修改记录。
2024-11-09 14:41:31
341
原创 深度图和RGB图对齐
这就是最终两个深度相机坐标系和RGB坐标系之间的坐标转换关系，就是博客三中获得的关系式，但是当时看他的博客，没看懂它是怎么出来的公式，现在才明白。一个三维中的坐标点，的确可以在图像中找到一个对应的像素点，但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的Zc的值。深度图和彩色图的配准又叫对齐，之所以需要进行配准，是因为深度图中的坐标点是在深度相机坐标系下获得，彩色图的坐标点是在RGB相机坐标系下获得的。如何求联系两个坐标系的旋转矩阵和平移向量。
2024-10-23 10:58:19
2198
原创 直方图均衡化
很暗的图像，灰度值大部分聚集在0-某一个数，很亮的图像，灰度值大部分聚集在某一个值-255上。直方图均衡化可以增强图像的对比度，思想是将一副图像的直方图分布变成近似均匀分布。对原图像的直方图设置一个阈值，如果直方图的灰度值超过这个阈值，则对图像进行裁剪，超出阈值的部分平均到各个灰度级。将图像分块，对图像块进行直方图均衡化，改进图像局部对比度，获取图像更多细节。避免自适应直方图均衡化导致的图像不连续或者过度增强。3.限制对比度的自适应直方图均衡化。（1）计算统计直方图；（3）计算累计直方图；
2024-10-21 15:14:17
178
原创 python中的assert语句
assert是语句，而不是函数不需要加括号调用，如果表达式为true，语句不会产生任何效果，如果表达式为false，则程序终止，AssertionError，并显示如果程序有逻辑错误的bug，必定在处变量值的组合不符合预期，处于错误状态;try块包含可能会引发异常的代码，except块用于处理异常。assert语句是一种调试程序的手段，仅用于定位可能的错误。块中又引发了另一个异常，并且没有捕获这个新的异常，那么程序会停止并报错。块中什么也不做，或者只是打印了一些信息，程序将继续执行。
2024-09-29 18:43:46
491
原创 分布式并行策略
将小批量分为n块，每个GPU拿到完整参数计算一块数据的梯度。（通常性能会更好）假如一个批量有128个样本，然后有2个GPU，那么每个GPU可以拿到64个样本。（每个GPU计算完这部分样本的梯度后，会将所i有的梯度加起来，就会完成小批量的梯度的计算。所有梯度相加其实是完整的梯度，模型本质只有一份，进行模型更新，每个gpu模型保存一致。数据并行又包含：DDP、FSDP等。
2024-06-18 18:35:55
1095
原创 LLM推理加速（二）
模型推断过程无法并行，因为只有一个gpu，但是tokenize和Detokenize是cpu上发生的。Detokenize发生的过程，实际上是等前一步的sample完成后，gpu结果完成后，在cpu上做Detokenize。实际上此时GPU就空闲了，即当上一次Sample完成后，可以直接进行下一次Computing的计算，可以不用等下一次Detokenize。这就是流水线优化。
2024-06-05 16:07:54
1002
原创 LLM推理加速原理（一）
输入--->正则化-->qkv三个矩阵层（映射到三个不同空间中)---->q,k,v之后self attention进行三0合一---->线性映射，正则化。
2024-06-05 11:41:27
3751
原创 Linux学习（五）
表示。-：对普通文件有什么权限d:对有什么权限基本权限有三种：r、w、x可以填充到以上的九个位置。前三个个字符表示，文件的所属用户对这个文件有什么权限；中间三个字符表示，用户所属的用户组对这个文件有什么权限；最后三个字符表示，除了当前的用户和用户组，其他人对这个文件有什么权限；facl功能解决。（基本功能只能解决：用户、用户组以及其他用户对这个文件的权限）
2024-05-22 22:27:32
369
原创 linux学习（四）
①/etc/passwd 用户配置文件分为7个字段（可手动进行编制）：linux中是通过id识别用户，如果用户重复，那么会以最小的id为主。gid当前用户属于那个组；用户的家目录在什么位置；用户登录的命令解释器。②/etc/shadow 保存用户和用户密码相关信息③/etc/group 和用户组相关的文件其他组设置：包括用户名称；（postfix是用户的uid；该用户属于postfix和mail组）
2024-05-21 22:12:10
631
原创 linux学习（三）
文件系统自带的限制用户使用多少磁盘的功能，就叫用户磁盘配额。①xfs磁盘系统首先对硬盘进行分区（上一篇文章有）；xfs系统对分区进行格式化（-f选项强制格式化）；设置挂载目录，如果目录不存在需要创建，存在不对它进行任何操作。挂载；如果想要它支持默认的磁盘配额，需要对他增加默认选项。下次开机生效：需要将上述两个选项加载到default配置文件。使用mount命令查看：挂栽成功，磁盘配额成功。方便后续操作，更改文件权限。查看磁盘配额：（查看组、用户）
2024-05-20 19:07:08
386
原创 linux内存磁盘管理
swap:交换分区 内存真的不够用的情况，系统程序会将暂时不需要的内存放到swap中。（win的虚拟内存，内存实际不在内存上，在磁盘上）。②创建空洞文件，seek跳过多少块，一块大小是bs=4MB，跳过20块（seek=20）,（相当于有80MB的空洞内容）再往文件中写内容。b：表示块设备，第一个数字：磁盘设备的主设备号，第二个数字：磁盘设备的从设备号，想要知道内存到少GB会以-m的方式显示，多少T，会以-g的方式显示。③（主分区只能建4个和扩展分区（扩展分区可以创建多个逻辑分区））。
2024-05-17 18:40:14
879
原创 linux系统（二）
显示当前的目录名称切换到其他目录查看当前目录下有哪些文件注： / 指根目录 /root 指root用户的家目录不同的颜色表示不同的目录具有不同的权限。clear 可以清除屏幕上的内容。（快捷键ctrl+l）l（第一个字母表示文件类型、文件个数、那个用户创建的文件，用户属于那个用户组、文件大小），不加目录名表示当前文件。ls -r：以逆向的方式操作，单独使用效果不明显，辅助-l使用。以上命令选项可以做合并：cd + 文件目录。
2024-05-16 17:42:39
594
原创 Linux学习（一）
什么是linux?操作系统，一般安装在服务器上。linux的两种含义：一种是linus编写的开源操作系统内核；另一种是广义操作系统。（linux系统使用命令行的操作命令，是因为客户端和服务端操作系统要做的事情不同，服务端主要强调系统的稳定性，不需要华丽的界面，需要便利的操作）
2024-05-10 18:27:48
269
原创 asyncio异步编程(三)
迭代器：内部实现__iter__()和__next__()方法的对象。可迭代对象：内部实现__iter__()方法，并且可以返回迭代器的对象。异步迭代器：实现__aiter__()和__anext__()方法的对象。异步可迭代对象：内部实现__aiter__()方法，并且可以返回迭代器的对象。可迭代对象或者迭代器可以被for循环。async for遍历方式使用时，必须写在协程函数内。
2024-04-30 14:36:58
228
原创 协程的意义（二）
在一个线程中，如果遇到IO等待，线程不会一直在等待，而是利用空余时间去完成别的任务（充分利用线程）。示例：下载图片①普通的方式下载图片（同步方式）②使用协程的方式下载图片（异步方式，也可通过线程池、进程池完成，可称为异步编程）
2024-04-19 18:38:53
804
原创 asyncio异步编程
当一个线程在执行他的协程函数时，如果遇到yiled from asyncio的情况，他不会在这一直等待，在等待的过程中会切换到其他的协程函数。③的功能与②相同，但是新的版本中，可以不用装饰器，直接使用asyncio关键字，yield from也可以使用await做替换。定义两个协程函数，将两个协程函数放到一个task列表，将task列表放到事件循环。本质是用一个线程在一段代码中来会切换游走的线程，是一种用户态内的上下文切换技术。1.协程：（不是计算机中真实存在的，人为创造出的概念），也可称为微线程。
2024-04-16 18:37:56
346
原创 Flask架构--路由和蓝图
app.route装饰器。（装饰器为某个url指定对应的视图函数）falsk框架中，视图定义在那，路由就跟着在哪。查看所有的路由，需要查看所有的视图函数。定义flask 视图时，如果不加入任何请求方式，他只支持get和自带的请求方式。需要其他请求方式时，要放开请求方式，通过methods参数，他是一个列表形式的参数。需求二：在构建一个网站时，不只有一个视图函数，业务逻辑处理多，可能需要定义很多接口，所以视图就会有很多。视图多的情况下，在文件中进行管理，用到蓝图。可以所有视图的所有路由添加前缀。
2024-01-14 20:21:46
1234
原创 drag diffusion中的gradio代码逐行解析（二）
5.gr.Button("Generate Image")创建按钮，用户可以点击按钮执行特定的操作。1.gr.Number（数字）：用于处理数值输入和输出。数值可以选择False,不可见功能。2.gr.Slider（滑块）：用于创建可拖动的滑块，用于选择范围内的数值。3.gr.Dropdown（下拉选项）：创建下拉选项菜单，方便用户进行选择。select()用于监听用户在组件中的选择事件。6.使用click()方法监听组件的点击事件。
2023-09-22 18:21:47
716
原创 Yolo v8数据马赛克数据增强代码详解
x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc # xmin, ymin, xmax, ymax (large image),确定画布区域。9.将标签中的（x,y,w,h）坐标转换为，（w,h,padw,padd）为相对于resize之后图像的数据，该函数的功能是将(x,y,w,h)坐标转换为标签的左上角和右下角坐标。i=0时，左上角的范围：x1a, y1a, x2a, y2a，马赛克图像的左上角和右下角。
2023-09-22 17:27:18
2409
原创 Yolo v8中的上下文管理器
上下文管理器中有__enter__()和__exit__()俩个特殊方法。__enter__()方法在with语句块执行前调用，负责获取资源并返回资源对象。with语句开始执行时，会先调用__enter__()方法中的内容用于获取资源，这一部分可以进行资源对象的操作。__enter__()方法返回self自身作为资源对象。上下文管理器通过with语句来自动获取和释放资源，确保资源的正确管理和关闭，避免资源泄露和错误。上下文管理器的使用：具备上下文管理器之后，可以直接使用with语句管理资源的获取和释放。
2023-09-20 08:18:36
172
1原创 VS code远程调试代码配置
2.打开远程资源管理器，点击右上角设置进入配置界面，添加远程服务器账号，输入：ssh 用户名@服务器账号，回车。1.下载远程连接插件Remote-SSH。服务器名称右键可进行连接。
2023-08-07 18:36:00
131
原创 linux命令
查看文件内容，直接使用hello.sh执行文件报错；因为在命令行输入的内容都是在PATH中寻找，但是PATH中没有改内容，所以会报错，可以使用相对路径的方式找到当前文件并执行。shebang之后的解释程序需要写绝对路径（如：#!/bin/bash），它是不会到$PATH中寻找解释器的。在linux系统中，程序会分析shebang后的内容，作为解释器的指令。如果脚本未指定shebang，执行过程中会默认调用python解释器。shebang是出现在文本文件的第一行的前两个字符#！执行权限不够，加上权限。
2023-08-04 13:34:01
440
原创 小目标检测总结
1、小目标检测长期以来是目标检测中的一个难点，其旨在精准检测出图像中可视化特征极少的小目标（32 像素×32 像素以下的目标）。相 对于常规尺寸的目标，小目标通常缺乏充足的外观信息，因此难以将它们与背景或相似的目标区分开 来。此外，真实场景是错综复杂的，通常会存在光照剧烈变化、目标遮挡、目标稠密相连和目标尺度变化等问题，而这些因素对 小目标特征的影响是更加剧烈的，进一步加大了小目标检测的难度。2、小目标的定义：基于相对尺度定义，基于绝对尺度定义。将小目标定义为分辨率小于32像素×32像素的目标。Torr
2023-07-31 14:47:45
805
qwen/其他大模型提取输入文本的关键字
2024-07-12
目标检测图片和标签自动化处理
2024-06-18
目标检测自动标注图片并生成标注文件
2024-06-14
大模型+自动生成问答对
2024-05-30
FlagEmbedding模型微调时json数据处理
2024-05-21
自动化输入query到langchain-chatchat中做知识检索
2024-05-21
通过指定目录，读取该目录下所有子文件夹中的内容 输入根目录和指定类别的名字，即可读取所有文件
2023-09-18
通过关键字从百度中爬取相匹配图片，可以爬取多种类型也可以爬取一种类型图片
2023-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人