AI大模型前沿研究
软件工程硕士,机器学习&深度学习爱好者,忘记背后,努力面前,向着标杆直跑!
展开
-
『大模型笔记』基于LLM生成真实世界数据的合成问答数据!
对于大语言模型(LLM)或小型语言模型(SLM)的微调、RAG或评估,通常需要从真实世界的原始数据中生成问答格式的数据。然而,当需要从头创建数据集而非使用现成的数据集时,您将面临诸多挑战。本次动手实验旨在通过展示如何从复杂的非结构化数据中创建或增强问答数据集来减轻部分工作负担,并假设这是一个真实的场景。该示例旨在为开发者和数据科学家以及相关领域的从业者提供逐步指导,使他们在稍许帮助下也能尝试完成。我们旨在通过微调或RAG来提高模型的性能,提供高质量的数据集。然而,没有预先存在的数据集;我们只有。原创 2024-08-13 16:31:37 · 545 阅读 · 0 评论 -
『CV学习笔记』Pyinstaller打包exe后,执行时onnxruntime包报警告(Init provider bridge failed)
Pyinstaller打包exe后,执行时onnxruntime包报警告(Init provider bridge failed)原创 2024-01-03 10:14:03 · 1120 阅读 · 0 评论 -
『CV学习笔记』NVIDIA GPU监控工具nvidia-smi/gpustat/nvtop/nvitop
NVIDIA GPU监控工具nvidia-smi/gpustat/nvtop/nvitop。原创 2023-12-26 10:10:11 · 2183 阅读 · 0 评论 -
『CV学习笔记』NVIDIA NVLink和NVSwitch介绍
NVIDIA NVLink 是世界首项高速 GPU 互连技术(注意是世界首项),与传统的 PCIe 系统解决方案相比,能为多 GPU 系统提供更快速的替代方案。NVLink 技术通过连接两块 NVIDIA 显卡,能够实现显存和性能扩展1,从而满足最大视觉计算工作负载的需求。原创 2023-12-25 21:06:58 · 2678 阅读 · 0 评论 -
『CV学习笔记』轻量化卷积神经网络MobileNet从V1到V3
相对重量级网络而言,轻量级网络的特点是参数少、计算量小、推理时间短。更适用于存储空间和功耗受限的场景,例如移动端嵌入式设备等边缘计算设备。因此轻量级网络受到了广泛的关注,其中MobileNet可谓是其中的佼佼者。MobileNetV3经过了V1和V2前两代的积累,性能和速度都表现优异,受到学术界和工业界的追捧,无疑是轻量级网络的“抗把子“。原创 2023-12-08 18:37:04 · 1617 阅读 · 0 评论 -
『CV学习笔记』文本识别算法CRNN&SVTR介绍|PyTorch显存分配原理
在传统的文本识别方法中,任务分为3个步骤,即图像预处理、字符分割和字符识别。需要对特定场景进行建模,一旦场景变化就会失效。面对复杂的文字背景和场景变动,基于深度学习的方法具有更优的表现。原创 2023-11-10 19:47:08 · 973 阅读 · 0 评论 -
『CV学习笔记』图像超分辨率等图像处理任务中的评价指标PSNR(峰值信噪比)
峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)是图像超分辨率等图像处理任务中常用的一个指标,用来评估图像质量。PSNR的值越高,表示失真越小,图像质量越好。PSNR是通过对比原图像和处理后图像的每个像素的差异来计算的。原创 2023-11-02 14:40:47 · 2544 阅读 · 0 评论 -
『CV学习笔记』Opencv和PIL Image以及base64编码互相转化/transform.Resize
Opencv和PIL Image以及base64编码互相转化。原创 2023-08-10 11:32:32 · 847 阅读 · 0 评论 -
『CV学习笔记』docker和nvidia-docker离线安装
docker和nvidia-docker离线安装。原创 2023-08-08 10:14:02 · 1398 阅读 · 0 评论 -
『CV学习笔记』ImportError: libGL.so.1和Dockerfile构建ubuntu18.04_miniconda_py37和docker镜像代理
容器报错内执行python程序报错ImportError: libGL.so.1: cannot open shared object file: No such file or dir。原创 2023-07-17 16:53:06 · 665 阅读 · 0 评论 -
『CV学习笔记』深度理解半精度float16的表示
float16顾名思义有16位二进制数,其中有1位固定的符号位,记为sign。剩下15位中5位作为指数,记为exponent。剩下的10位用于表示小数,记为fraction原创 2023-05-06 18:13:04 · 1555 阅读 · 1 评论 -
『C/C++养成计划』Visual Studio Code编辑器配置(外观&通用型扩展&Minmal)
vscode插件大全1.5. 执行代码扩展(code runner)1.6. 版本管理扩展(gitlens和gitgraph)1.7. settings.json总结二. vscode配置C/C++|MakeFile|CMake2.1. C/C++在线参考资料扩展(cpp reference)2.2. 文档生成工具(Doxygen Documentation Generator)2.2. C/C++扩展(重要)2原创 2023-02-15 22:21:20 · 1369 阅读 · 0 评论 -
『CV学习笔记』图像处理透视变换(Python+Opencv)
【图像处理】透视变换 Perspective Transformation原理透视变换本质是将图像投影到一个新的视平面。仿射变换可以理解为透视变换的特殊形式。利用透视中心、像点、目标点三点共线的条件,按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度,破坏原有的投影光线束,仍能保持承影面上投影几何图形不变的变换。如果你想对图像进行校准,那么透视变换是非常有效的变换手段。透视变换的定义为将图像投影到一个新的视平面,通常也被称之为投影映射。原创 2023-02-10 20:58:47 · 1443 阅读 · 0 评论 -
『CV学习笔记』Pyinstaller打包python程序遇到的问题(Win&Linux)+Cython编译动态库+PyArmor加密
PyInstaller将Python应用程序及其所有依赖项捆绑到一个单独的包中。用户可以在不安装Python解释器或任何模块的情况下运行打包的应用程序。最新的PyInstaller 6.3.0支持Python 3.8及更高版本,并正确捆绑了许多主要的Python包,例如numpy、matplotlib、PyQt、wxPython等。原创 2021-08-03 11:01:47 · 2433 阅读 · 2 评论