- 博客(50)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 LLM之基于Ragas利用本地数据、本地模型构造测试数据集，测试RAG
这回还是粗略写写前言吧，构建好RAG系统之后，你总得去进行测试吧，那么如何测试呢？用什么指标去衡量呢？测试数据集怎么构建呢？这里使用Ragas对RAG系统进行测试，而Ragas又基本是OPENAI的接口，那是要钱钱的，所以就研究使用本地模型去跑Ragas简介不想写，有空再写。
2024-08-20 16:10:15
496
原创 LLM之基于llama-index部署本地embedding与GLM-4模型并初步搭建RAG（其他大模型也可，附上ollma方式运行）
前言日常没空，留着以后写官网：https://docs.llamaindex.ai/en/stable/简介也没空，以后再写如果没有找到 llama_index.embeddings.huggingface那么：pip install llama_index-embeddings-huggingface还不行进入官网，输入huggingface进行搜索 加载本地LLM模型还是那句话，如果以下代码不行，进官网搜索Custom LLM Model 欢迎大家点赞或收藏大家的点赞或收藏可以鼓
2024-08-20 14:31:38
623
原创 LLM之本地部署GraphRAG（GLM-4+Xinference的embedding模型）（附带ollma部署方式）
有空再写微软开源的GraphRAG默认是使用openai的接口的（GPT的接口那是要money的），于是就研究了如何使用开源模型本地部署。
2024-07-31 13:28:47
1282
5
原创 LLM之使用ollma本地搭建RAG系统
我的是 ollama pull gemma2 或者 ollama pull qwen2:0.5b。选择一个down下来：ollama pull mxbai-embed-large。随后再输入 ollama serve，开启ollama。官网有介绍不同操作系统的下载方式。ollama的LLM模型选一个。然后输入ollama。
2024-07-29 10:44:39
206
原创 python图像处理之二维码识别（使用opencv接入微信开源模型）
虽然pyzbar挺好用的，但微信、支付宝的二维码识别是真逆天，有木有，很多场景几个开源库识别不了，但是人家就是能用。
2024-07-24 17:45:40
306
原创 torch之从.datasets.CIFAR10解压出训练与测试图片 （附带网盘链接）
当然可以自行调整将它们都合在一个文件夹里面，个人喜好。从官网上下载的是长这个样子的。想看图片，咋办咧，看下面代码。
2024-07-12 11:34:35
353
原创 AIGC之Stable Diffusion Web Ui 初体验
1、在下载完源码之后，进入该目录，Linux系统，在控制台运行./webui.sh，Windows系统，直接双击运行webui.bat文件，如果出现下载一半中断的情况，无效慌张，重复操作，继续下载。网上有很多安装Stable Diffusion Web Ui 的介绍了，我在这说一下我的踩坑记录。5、如果你想像我一样，将环境安装在服务器或者其他电脑，然后在局域网内使用自己电脑使用这个。我这边是使用服务器安装的环境，然后在局域网内的电脑进行连接使用的。改成你安装环境的IP和想要的端口号就行啦。
2024-06-04 16:01:07
639
原创 AIGC之Stable diffusion Version 2_ open_clip.create_model_and_transforms报错问题解决
将version替换成version=“openai/CLIP-ViT-H-14-laion2B-s32B-b79K/open_clip_pytorch_model.bin”链接：https://pan.baidu.com/s/1zvwrwcf-4c5CSJmJmhOiQw?缺少CLIP-ViT-H-14-laion2B-s32B-b79K模型，代码会自动从网上下载，但会报错。路径：ldm.modules.encoders.modules.py文件。
2024-05-30 16:54:09
414
转载 AIGC之Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘
需要手动创建openai 目录并把 下载后解压的资源拖入到openai目录下面，我自己连代码都不用改。clip-vit-large-patch14 国内已经不能访问了。在跑Stable Diffusion v1系列的时候遇到了。另外如果不行的话，可以去官网下载。
2024-05-30 11:51:25
262
原创 半自动标注（使用自己的分割或检测模型推理完得到的矩阵再生成json文件）
都知道标注很麻烦、很累，不然先训练一批，然后推理得到它的掩码图，先生成自动标注，再人工手动修改也许会快很多。
2024-05-15 15:23:39
241
7
原创 语义分割之使用自己的代码进行数据增强（labelme的json文件）
注释掉的部分 是对json文件的修改 如果大家想顺便修改json文件就将注释给删去。网上的包，写着写着，就不耐烦了，还是自己写吧。没时间优化 凑合着用 哈哈哈。
2024-05-09 11:40:14
442
原创 跑模型——labelme的json文件转成yolo使用的txt文件（语义分割，目标检测需要自己改改）
将labelme多边形标注的json文件转换成yolo使用的txt文件。如果有什么不懂的，可以在评论区底下评论哦，我会努力解答的。
2024-04-09 14:16:42
695
2
原创 python图像处理——图像压缩（调整图片的存储大小）
很多时候拍的图片都是几百KB 甚至多少M来算的，有时候证件照要求的又很小，作为一个程序员，总不能老是在网上找压缩的吧，而且又麻烦，不如自己用程序跑跑啦。
2024-03-10 12:02:00
917
原创 图像识别之ResNet（结构详解以及代码实现）
在人工智能的浪潮中，深度学习已经成为了推动计算机视觉、自然语言处理等领域突破的关键技术。在这众多技术中，ResNet（残差网络）无疑是一个闪耀的名字。自从2015年Kaiming He等人提出ResNet架构以来，它不仅在图像识别领域取得了革命性的进展，更影响了后续神经网络设计的诸多方面。那么，什么是ResNet？简而言之，ResNet是一种深度卷积神经网络（CNN），其核心创新在于引入了“残差学习”的概念，通过残差块（residual block）的设计优雅地解决了深度网络训练中的退化问题。
2024-02-18 15:45:55
2975
原创 pytorch——保存‘类别名与类别数量’到权值文件中
不知道大家有没有像我一样，每换一次不一样的模型，就要输入不同的num_classes和name_classes,反正我是很头疼诶，尤其是项目里面不止一个模型的时候，更新的时候看着就很头疼，然后就想着直接输入模型权值文件的path该多好，然后我就搞起来了。
2024-02-05 13:55:40
663
原创 labelme之批量生成掩码图（复制代码直接可用）
当你看到这篇文章的时候，说明你在面临着标数据，这个巨烦的工作啦，我表示我懂，很难受。然后labelme又不支持批量转换的，看网上的教程好多说要找到labelme的某个文件呀，然后在复制粘贴上去呀，在用命令行生成json文件夹的，老麻烦了，虽然我以前就是这么干的，但是干着干着就想偷懒了，所以自己翻看了labelme的代码，抽取出来用，自己用程序一步到位。
2024-02-01 18:40:20
742
3
原创 python 简单实现日志功能以及实现每天自动产生新的日志文件
做项目的时候，将代码的输出结果以日志的方式保存下来，是很有必要的在python中，内置了一个日志模块logging，用来输出日志信息，我们可以进行配置各种参数，从而满足我们大部分场景对日志的需求。
2024-01-30 17:21:52
2304
2
原创 语义分割之Unet
随着计算机视觉技术的不断发展，图像分割已经成为了计算机视觉领域的一个重要研究方向。在众多的图像分割算法中，语义分割作为一种能够对图像中的每个像素进行分类的方法，具有很高的实用价值。近年来，基于深度学习的语义分割方法取得了显著的成果，其中Unet网络作为一种特殊的卷积神经网络结构，在语义分割任务中表现出了优越的性能。
2023-12-07 11:10:55
1038
原创 跑模型——常用模块之torch.load() 、torch.load_state_dict()
在深度学习中，训练好的模型需要保存下来以便后续使用。PyTorch提供了torch.save()和torch.load()函数来保存和加载模型。但是，这两个函数只能保存整个模型的状态字典（state_dict），而不能保存其他信息，如优化器、损失函数等。为了解决这个问题，PyTorch提供了torch.load_state_dict()函数，它可以加载整个模型的状态字典以及其他相关对象。本文将介绍如何使用这些函数来保存和加载模型。
2023-11-09 18:10:58
314
原创 跑模型——常用模块之torch.cuda
PyTorch作为一款流行的深度学习框架，提供了许多用于GPU加速的函数和模块。其中，torch.cuda模块是PyTorch中最重要的GPU加速模块之一，它提供了许多用于管理GPU内存、数据转移等操作的函数。本文将介绍一些常用的torch.cuda函数，帮助读者更好地利用GPU加速训练深度学习模型。
2023-11-09 16:22:13
160
转载 跑模型——常用模块之os.environ
os.environ 是一个字典，是环境变量的字典，通过 os.environ 我们可以获取环境变量，例如“HOME” 是这个字典里的一个键，如果有这个键，返回对应的值，如果没有，则返回 noneos.environ['环境变量名称']='环境变量值' #其中key和value均为string类型os.putenv('环境变量名称', '环境变量值')os.environ.setdefault('环境变量名称', '环境变量值')
2023-11-09 15:12:49
198
转载 跑模型——常用模块之easydict模块
easydict的作用和其名字一样，让你更easy地使用dict，一句话来概括，easydict允许我们使用属性访问符’.'来访问字典的key。同时使用edict构建的字典，也支持基本的字典操作。首先我们导入该模块。
2023-11-09 14:47:02
253
原创 跑模型之argparse
作为一个笔记，在github上或者其他地方下载其他地方下载别人的代码阅读时，常常遇到argparse模块，一开始还以为这是就是写了个类，类里面装了很多需要使用到的变量而已，万万没想到还挺有意思。。。。argparse模块提供了一种方便的方式来编写用户友好的命令行接口。它可以解析命令行参数和选项，并生成帮助和使用信息等使用流程如下：导入模块->创建解析器->添加参数->解析参数。
2023-11-09 14:31:36
52
原创 pytorch学习笔记——数据读取机制之DataLoader与Dataset
将数据集划分完训练集、验证集、测试集后，便可以进行模型的训练了，对于任意一个模型的训练，都离不开的一个话题便是数据读取。在PyTorch中数据读取的核心是Dataloader。Dataloader分为Sampler和DataSet两个子模块。Sampler的功能是生成索引，即样本序号；DataSet的功能是根据索引读取样本和对应的标签。
2023-11-03 18:03:03
92
原创 pytorch学习笔记——优化器之Adam
在深度学习中，优化器是非常重要的一部分。它用于调整模型的参数，以此来最小化损失函数。PyTorch是一个广泛使用的深度学习框架，提供了许多优化器供我们选择。其中Adam是我们最常用的优化器之一。Adam，名字来自：（Adaptive Moment Estimation）自适应矩估计，是2014年提出的一种万金油式的优化器，使用起来非常方便，梯度下降速度快，但是容易在最优值附近震荡。竞赛中性能会略逊于SGD，但往往最简单的才是最有效的，超强的易用性使得Adam被广泛使用。
2023-11-03 17:06:55
2849
原创 python 图像处理——图像增强之给图像添加噪声
在训练模型时，我们往往需要对图像进行增强以改善其质量或突出某些特征或增加样本的多样性。其中一种常见的图像增强方法是添加噪声。噪声可以模拟真实世界中的干扰因素，例如传感器噪声、传输误差等。通过向图像中添加噪声，我们可以测试和评估图像处理算法的性能，并提高其鲁棒性。例如，在计算机视觉任务中，如果训练数据集中的图像都是干净且完美的，那么模型可能会对一些实际场景中的噪声和干扰因素无法适应。但是，如果我们在训练数据集中添加一些噪声，模型就会学会更好地处理这些噪声和干扰因素，从而提高其鲁棒性和泛化能力。
2023-11-02 13:33:05
1384
原创 python图像处理——cv2.imwrite 保存不了图片
但是在使用cv2.imwrite 带上中文，它就保存不了了，改回英文才OK。注“：仅限我这边发生的情况，跟大家分享一下 ，希望有错能指正。oepncv 读取图片的时候，路径可以带上中文。：万万没想到 还能这个样子。
2023-10-30 11:12:56
748
原创 无人机之无刷直流电机控制器简介（翻译过来的，待完善）
无刷直流电机相对于其竞争对手（如有刷电机）有一些显著的优势，这主要是因为电子换向。它允许控制器迅速切换电流，从而有效调节电机特性。在本文中，我们将考虑无刷直流电机控制器的特性。我们将了解其工作原理以及在构建自己的设备之前应该了解的设计特点和挑战。
2023-10-23 22:03:55
356
2
原创 模型训练之batch 、batch size、epoch、 iteration
通常情况下，batch size越大（调小你的batch），模型的训练速度就越快，batch size越小，训练所花费的时间就越长（例如你有十万条数据，每次只用一个数据进行训练，时间能不长嘛），此外，batch size还会影响到模型的收敛速度和精度。在微调的时候，大的batchsize可能会取得更好的结果。（1）batch：是指将数据集分成若干个批次，每个批次包含一定数量的样本，然后使用这些批次来训练模型，增大batch，会加大内存的消耗，某些程度上会加快模型的收敛。
2023-10-19 00:29:11
1565
转载 常见数据集
Camvid数据集官网 ：Object Recognition in Video Dataset下载：CamVid (Cambridge-Driving Labeled Video Database) | Kaggle简介：CamVid全称：The Cambridge-driving Labeled Video Database，该数据集由剑桥大学工程系于 2008 年发布，相关论文有《Segmentation and Recognition Using Structure from Motion Poin
2023-10-18 17:32:36
104
1
原创 pycharm 远程连接服务器进行模型预测后，在本地电脑show出图片
以前跑模型 预测的时候很是痛苦 因为服务器没有显示器呀 也看不到预测的结果 只能save下来，拉回来看 就很烦躁，然后今天终于遇到了，希望能帮到跟我有一样困扰的人。其实就只是在最后三行起作用，但是为了完整的看起来舒服嘛，这里用的是YOLOV8去跑的~
2023-10-13 14:17:37
252
原创 训练集损失值与验证集损失值的几种关系 （会持续更新哦！）
在机器学习和深度学习中，训练集和验证集是两个非常重要的概念。训练集用于训练模型，而验证集则用于调整模型的超参数以及评估模型的性能。在训练过程中，我们通常会记录训练集与验证集的损失值，以便在训练完成后对模型进行评估。然而，训练集损失值与验证集损失值之间的关系却有很多种可能性，在本文中，我们将讨论以下几种情况。
2023-09-25 15:36:28
3933
5
原创 screen 关掉指定窗口
在 screen 命令中，“Detached” 表示该 screen 会话未连接到任何终端或窗口，而 "Attached"表示该 screen 会话已连接到一个终端或窗口 ，当你重新开一个终端，往往是连接不是"Attached"状态的screen 会话，反正我是不可以。screen -S <session_id> -X quit ，其中 <session_id> 是要关闭的 screen 会话的 ID。然后我就删掉了netted，再使用screen -ls查看还有多少screen 会话。
2023-09-15 14:48:42
802
4
原创 pytorch 将pth(pt)文件转成oonx模型
在深度学习领域，模型的保存和加载是一个重要的话题。我们经常需要保存训练好的模型，以便在将来使用或者进行迁移学习。在这里介绍将PyTorch中的.pth(pt)文件转换为O-N-X模型格式。
2023-08-23 11:02:58
2090
原创 语义分割之对于使用Augmentor模块进行数据增强后png图片以及掩码图片进行对应命名以及批量修改图片
进行语义分割 但数据量又不是很大的时候，进行数据增强是一个不错的选择在语义分割中可以使用Augmentor进行数据增强（这里就不对Augmentor进行介绍啦，可以在网上搜搜，很多很快就能上手）在增强之后Augmentor会将被操作后的图片以及掩码图片输出在同一个位置，并且进行有规律的命名。
2023-06-29 15:04:32
570
1
原创 语义分割训练数据集之提取文件夹下的图片、修改文件夹下的图片属性
笔者在使用labelme标注完数据且修改为json_to_dataset.py文件后执行json_to_dataset.exe生成了许多文件夹，如图1而每个小文件夹又包含了关于原图的png文件以及掩码图片label.png笔者想要生成的是VOCdevkit数据集，需要将原图放进JPEGImages文件以及将掩码图片放入SegmentationClass文件。
2023-06-29 14:45:08
179
1
原创 python 图像处理之使用鼠标点击图像某点 获取该点的BGR值或者HSV值或者灰度值 cv2.setMouseCallback()
获取图像某点及其领域的BGR值或者HSV值或者灰度值，是图像处理和计算机视觉中的常见需求。
2023-05-29 15:44:43
1574
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人