- 博客(65)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 百度智能云使用体验——人像分割
您可通过应用的 API Key和 Secret Key获取Access_token来调用百度AI服务；为了您的财产和服务安全，请妥善保存和定期更新Secret Key。在网上找人像分割，懒得自己写，看到了百度智能云，有一说一，还挺多的，摸索了下就上手使用了。我这次选择的是开放平台->人脸与人体->人像特效->人像分割。再点击创建应用，得到api_key和secret_key。大家可以先传张图片试试，在功能演示看看效果。，通过代码方式获取Access_token。
2025-01-15 10:42:33
162
原创 LLM之大模型Base、Chat、Instruction之间的区别了解
在大模型的使用当中，我们常常能看到三种模型：基座模型（base）、聊天模型（chat）和指令模型（instruct），在选用的时候，有时候还挺纠结的，就将它们的区别学习记录了下。
2025-01-06 17:54:23
281
原创 LLM之大模型精度(fp32、fp16、bf16等)学习记录
float类型，是由IEEE定义的标准浮点数类型 ，由符号位（sign）、指数位（exponent）和尾数位（fraction）三部分组成，以float32举例，它使用1位做符号位，8位做指数位，23位做尾数位，图片实例如下：整个浮点数可表示为，其中s为符号位-1或1，t为尾数，i为指数。
2025-01-06 11:57:43
790
原创 GraphRAG：LLM之Graphrag接入milvus
微软目前的graphrag更像个demo，数据量大的时候不是很友好的啊，所以将milvus接入了graphrag，看完这篇文章，其他数据库接入应该也没问题注：这篇文章只是在search的时候接入进来，index过程或者说整个流程接入有时间再写一遍博客。
2025-01-03 14:09:11
955
原创 GraphRAG：LLM之Graphrag的index过程——datashaper操作讲解（二）
位于graphrag\index\verbs\zip.pyto: str,"""## UsageTODO"""= 2:如果type参数为None，则将指定的列通过zip函数组合成一个新的列表，并创建一个新列 text_with_ids如果type为字典类型，则将id赋给key_col，text赋给value_col,然后通过迭代传入的input的每一行，将两个指定的列组合成一个字典，并将这个字典添加到结果列表results中，然后在表上创建新列text_with_ids并赋值results。
2024-12-03 17:16:25
759
原创 GraphRAG：LLM之Graphrag的index过程——datashaper操作讲解（一）（文本块向量化函数等等）
,"args": {},},简单的讲就是将文本块进行向量化，在graphrag中是执行自定义的 text_embed函数，将raw_content列中的文本块向量化之后存入raw_content_embedding中源码位于graphrag\index\verbs\text\embed\text_embed.py**kwargs,vector_store_config = strategy.get("vector_store") #默认为Noneinput,callbacks,
2024-12-03 10:04:19
1430
原创 LLM之milvus的使用记录
如果像我一样在服务器上跑着，想在本地电脑上看的话，就在MILVUS_URL输入服务器的ip就行啦，然后attu：v 版本尽量接近你milvus的版本就行。执行下面这行代码，再重复上面的代码，当然如果你网络不好，可能就需要考虑添加镜像源啥的了。安装好milvus docker之后，哪怕milvus在运行着都可以继续接下来的步骤哦。如果没有安装过docker-compose，会报。会显示你在运行中的容器，这边安装好之后会出现。
2024-11-27 14:18:41
962
原创 LLM之基于llama-index部署本地embedding与GLM-4模型对rag系统进行测评
当然llama-Index 还提供了测试数据的生成功能，可以帮助我们轻松地生成评估所需的测试数据，包括评估的问题、参考答案等，这样我们就可以快速地进行评估工作，而不需要花费大量的时间去准备测试数据。Context Relevancy 是评估 Context 和 Question 的相关性，这个指标可以帮助我们评估检索到的文档上下文和问题的相关性。Answer Revelancy 是评估 Answer 和 Question 的相关性，这个指标可以帮助我们评估生成的答案是否和问题相关。
2024-09-25 13:32:32
662
1
原创 Docker之基于Ubuntu安装
前言小老弟，我觉得你工作上会用上它滴有时间再来介绍吧开始安装：官方操作文档：https://docs.docker.com/engine/install/ubuntu/二、设置apt仓库三、安装Docker四、配置国内镜像源 五、重启Docker 显示docker系统信息启动或关闭docker查看容器 启动、停止、重启容器 先写到这里吧欢迎大家点赞或收藏~大家的点赞或收藏可以鼓励作者加快更新哟~作者也新建了一个学
2024-08-30 11:35:08
490
原创 LLM之基于Ragas利用本地数据、本地模型构造测试数据集，测试RAG
这回还是粗略写写前言吧，构建好RAG系统之后，你总得去进行测试吧，那么如何测试呢？用什么指标去衡量呢？测试数据集怎么构建呢？这里使用Ragas对RAG系统进行测试，而Ragas又基本是OPENAI的接口，那是要钱钱的，所以就研究使用本地模型去跑Ragas简介不想写，有空再写。
2024-08-20 16:10:15
1153
10
原创 LLM之基于llama-index部署本地embedding与GLM-4模型并初步搭建RAG（其他大模型也可，附上ollma方式运行）
前言日常没空，留着以后写官网：https://docs.llamaindex.ai/en/stable/简介也没空，以后再写如果没有找到 llama_index.embeddings.huggingface那么：pip install llama_index-embeddings-huggingface还不行进入官网，输入huggingface进行搜索 加载本地LLM模型还是那句话，如果以下代码不行，进官网搜索Custom LLM Model 欢迎大家点赞或收藏大家的点赞或收藏可以鼓
2024-08-20 14:31:38
2089
原创 GraphRAG：LLM之本地部署GraphRAG（GLM-4+Xinference的embedding模型）（附带ollma部署方式）
有空再写微软开源的GraphRAG默认是使用openai的接口的（GPT的接口那是要money的），于是就研究了如何使用开源模型本地部署。
2024-07-31 13:28:47
3226
11
原创 LLM之使用ollma本地搭建RAG系统
我的是 ollama pull gemma2 或者 ollama pull qwen2:0.5b。选择一个down下来：ollama pull mxbai-embed-large。随后再输入 ollama serve，开启ollama。官网有介绍不同操作系统的下载方式。ollama的LLM模型选一个。然后输入ollama。
2024-07-29 10:44:39
512
原创 python图像处理之二维码识别（使用opencv接入微信开源模型）
虽然pyzbar挺好用的，但微信、支付宝的二维码识别是真逆天，有木有，很多场景几个开源库识别不了，但是人家就是能用。
2024-07-24 17:45:40
995
3
原创 torch之从.datasets.CIFAR10解压出训练与测试图片 （附带网盘链接）
当然可以自行调整将它们都合在一个文件夹里面，个人喜好。从官网上下载的是长这个样子的。想看图片，咋办咧，看下面代码。
2024-07-12 11:34:35
409
原创 AIGC之Stable Diffusion Web Ui 初体验
1、在下载完源码之后，进入该目录，Linux系统，在控制台运行./webui.sh，Windows系统，直接双击运行webui.bat文件，如果出现下载一半中断的情况，无效慌张，重复操作，继续下载。网上有很多安装Stable Diffusion Web Ui 的介绍了，我在这说一下我的踩坑记录。5、如果你想像我一样，将环境安装在服务器或者其他电脑，然后在局域网内使用自己电脑使用这个。我这边是使用服务器安装的环境，然后在局域网内的电脑进行连接使用的。改成你安装环境的IP和想要的端口号就行啦。
2024-06-04 16:01:07
706
原创 AIGC之Stable diffusion Version 2_ open_clip.create_model_and_transforms报错问题解决
将version替换成version=“openai/CLIP-ViT-H-14-laion2B-s32B-b79K/open_clip_pytorch_model.bin”链接：https://pan.baidu.com/s/1zvwrwcf-4c5CSJmJmhOiQw?缺少CLIP-ViT-H-14-laion2B-s32B-b79K模型，代码会自动从网上下载，但会报错。路径：ldm.modules.encoders.modules.py文件。
2024-05-30 16:54:09
1008
转载 AIGC之Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘
需要手动创建openai 目录并把 下载后解压的资源拖入到openai目录下面，我自己连代码都不用改。clip-vit-large-patch14 国内已经不能访问了。在跑Stable Diffusion v1系列的时候遇到了。另外如果不行的话，可以去官网下载。
2024-05-30 11:51:25
474
原创 半自动标注（使用自己的分割或检测模型推理完得到的矩阵再生成json文件）
都知道标注很麻烦、很累，不然先训练一批，然后推理得到它的掩码图，先生成自动标注，再人工手动修改也许会快很多。
2024-05-15 15:23:39
283
7
原创 语义分割之使用自己的代码进行数据增强（labelme的json文件）
注释掉的部分 是对json文件的修改 如果大家想顺便修改json文件就将注释给删去。网上的包，写着写着，就不耐烦了，还是自己写吧。没时间优化 凑合着用 哈哈哈。
2024-05-09 11:40:14
696
原创 跑模型——labelme的json文件转成yolo使用的txt文件（语义分割，目标检测需要自己改改）
将labelme多边形标注的json文件转换成yolo使用的txt文件。如果有什么不懂的，可以在评论区底下评论哦，我会努力解答的。
2024-04-09 14:16:42
890
2
原创 python图像处理——图像压缩（调整图片的存储大小）
很多时候拍的图片都是几百KB 甚至多少M来算的，有时候证件照要求的又很小，作为一个程序员，总不能老是在网上找压缩的吧，而且又麻烦，不如自己用程序跑跑啦。
2024-03-10 12:02:00
1095
原创 图像识别之ResNet（结构详解以及代码实现）
在人工智能的浪潮中，深度学习已经成为了推动计算机视觉、自然语言处理等领域突破的关键技术。在这众多技术中，ResNet（残差网络）无疑是一个闪耀的名字。自从2015年Kaiming He等人提出ResNet架构以来，它不仅在图像识别领域取得了革命性的进展，更影响了后续神经网络设计的诸多方面。那么，什么是ResNet？简而言之，ResNet是一种深度卷积神经网络（CNN），其核心创新在于引入了“残差学习”的概念，通过残差块（residual block）的设计优雅地解决了深度网络训练中的退化问题。
2024-02-18 15:45:55
3615
原创 pytorch——保存‘类别名与类别数量’到权值文件中
不知道大家有没有像我一样，每换一次不一样的模型，就要输入不同的num_classes和name_classes,反正我是很头疼诶，尤其是项目里面不止一个模型的时候，更新的时候看着就很头疼，然后就想着直接输入模型权值文件的path该多好，然后我就搞起来了。
2024-02-05 13:55:40
707
原创 labelme之批量生成掩码图（复制代码直接可用）
当你看到这篇文章的时候，说明你在面临着标数据，这个巨烦的工作啦，我表示我懂，很难受。然后labelme又不支持批量转换的，看网上的教程好多说要找到labelme的某个文件呀，然后在复制粘贴上去呀，在用命令行生成json文件夹的，老麻烦了，虽然我以前就是这么干的，但是干着干着就想偷懒了，所以自己翻看了labelme的代码，抽取出来用，自己用程序一步到位。
2024-02-01 18:40:20
1060
3
原创 python 简单实现日志功能以及实现每天自动产生新的日志文件
做项目的时候，将代码的输出结果以日志的方式保存下来，是很有必要的在python中，内置了一个日志模块logging，用来输出日志信息，我们可以进行配置各种参数，从而满足我们大部分场景对日志的需求。
2024-01-30 17:21:52
2914
2
原创 语义分割之Unet
随着计算机视觉技术的不断发展，图像分割已经成为了计算机视觉领域的一个重要研究方向。在众多的图像分割算法中，语义分割作为一种能够对图像中的每个像素进行分类的方法，具有很高的实用价值。近年来，基于深度学习的语义分割方法取得了显著的成果，其中Unet网络作为一种特殊的卷积神经网络结构，在语义分割任务中表现出了优越的性能。
2023-12-07 11:10:55
1112
原创 跑模型——常用模块之torch.load() 、torch.load_state_dict()
在深度学习中，训练好的模型需要保存下来以便后续使用。PyTorch提供了torch.save()和torch.load()函数来保存和加载模型。但是，这两个函数只能保存整个模型的状态字典（state_dict），而不能保存其他信息，如优化器、损失函数等。为了解决这个问题，PyTorch提供了torch.load_state_dict()函数，它可以加载整个模型的状态字典以及其他相关对象。本文将介绍如何使用这些函数来保存和加载模型。
2023-11-09 18:10:58
394
原创 跑模型——常用模块之torch.cuda
PyTorch作为一款流行的深度学习框架，提供了许多用于GPU加速的函数和模块。其中，torch.cuda模块是PyTorch中最重要的GPU加速模块之一，它提供了许多用于管理GPU内存、数据转移等操作的函数。本文将介绍一些常用的torch.cuda函数，帮助读者更好地利用GPU加速训练深度学习模型。
2023-11-09 16:22:13
311
转载 跑模型——常用模块之os.environ
os.environ 是一个字典，是环境变量的字典，通过 os.environ 我们可以获取环境变量，例如“HOME” 是这个字典里的一个键，如果有这个键，返回对应的值，如果没有，则返回 noneos.environ['环境变量名称']='环境变量值' #其中key和value均为string类型os.putenv('环境变量名称', '环境变量值')os.environ.setdefault('环境变量名称', '环境变量值')
2023-11-09 15:12:49
336
转载 跑模型——常用模块之easydict模块
easydict的作用和其名字一样，让你更easy地使用dict，一句话来概括，easydict允许我们使用属性访问符’.'来访问字典的key。同时使用edict构建的字典，也支持基本的字典操作。首先我们导入该模块。
2023-11-09 14:47:02
566
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人