- 博客(179)
- 收藏
- 关注
RSS订阅
原创 Stable Diffusion系列课程上：安装、提示词入门、常用模型（checkpoint、embedding、LORA）、放大算法、局部重绘、常用插件
介绍了stable diffusion基本功能：安装、提示词入门、常用模型（checkpoint、embedding、LORA）、放大算法、局部重绘、常用插件
2023-07-09 21:23:09
6708
1
原创 learnopencv系列一：使用神经网络进行特征匹配（LoFTR、XFeat、OmniGlue）、视频稳定化、构建Chrome Dino游戏机器人
图像由多个对象或单个对象组成。每个对象在该图像中都带有不同的描述。图像特征是描述对象独特品质的信息片段，这些特征包括从简单的边缘和角点到更复杂的纹理（比如强度梯度）或独特的形状（比如斑点）。考虑一个人拿着一本书的图像。人类可以通过查看图像帧中的照明条件或对象周围的轮廓和形状来理解某些对象（人或书）存在于框架中。计算机如何解释相同的内容？图像特征的样子为此，我们使用图像特征。我们取每个图像像素并计算这些像素的强度梯度（与周围像素的强度值变化相比）。梯度值高的区域，通常是图像特征（角落或边缘）。
2024-10-30 20:23:03
426
原创 OpenCV系列教程六：信用卡数字识别、人脸检测、车牌/答题卡识别、OCR
随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法（如YOLO、SSD、MTCNN等）在复杂场景下表现出了更高的精度和鲁棒性。然而，对于资源受限的设备或需要高实时性的场景，OpenCV中的Haar级联分类器依然是一个快速、轻量的选择。上面找出的轮廓有四个点，但顺序是乱的，需要先确认每个点的位置，然后再进行透视变换。为了防止图片中混入其他物体造成检测错误，需要对识别出的轮廓进行判断，确保我们拿到的轮廓是答题卡的轮廓。该算法通过一系列的简单分类器进行多层次的过滤，达到高效检测的目的。
2024-10-25 01:48:05
774
原创 OpenCV系列教程七：虚拟计算器项目、目标追踪、SSD目标检测
目标视觉跟踪(Visual Object Tracking)是计算机视觉领域的一个重要问题，目前广泛应用在体育赛事转播、安防监控和无人机、无人车、机器人等领域。OTB50是一个包含50个视频序列的数据集，都经过人工标注，首次于2013年提出。这些视频序列涵盖了各种挑战，如光照变化、尺度变化、遮挡等。2015年提出了OTB100，包含了100个视频序列，其中涵盖了OTB50的所有序列。相关的数据集和测试代码库可以在Visual Tracker Benchmark的官方网站下载。
2024-10-22 16:22:38
1032
原创 OpenCV系列教程五：图像的分割与修复
前景和背景的可能性用GMM进行建模，基于这些模型将像素连接到两个超级终端（前景或背景），从而每条边都有一个属于前景或者背景的概率。通过距离变换得到前景的确定区域（sure_fg），通过膨胀得到背景的确定区域（sure_bg），再通过差集得到前景和背景之间的未知区域（unknown），这三部分的明确划分是成功应用分水岭算法的关键。分水岭算法的本质是基于标记的分割，为了让分水岭算法正确地找到物体的边界，需要明确的前景和背景标记以及未确定的区域（即前景和背景之间的模糊区域，需要算法来决定边界）。
2024-10-21 12:55:23
1243
原创 OpenCV系列教程四：图像金字塔、特征检测与特征匹配，图像查找、对齐和拼接
SIFT算法的核心原理可分为四个步骤：特征点检测、特征点定位、主方向确定和特征描述符生成。特征点检测首先，SIFT算法通过构建图像的多尺度金字塔来实现尺度不变性。使用高斯模糊函数对图像进行不同尺度的模糊处理，然后通过差分高斯（DoG, Difference of Gaussian）对模糊后的图像进行处理，获取图像的不同尺度空间。这些空间中的极值点（即在图像空间中比周围像素更亮或更暗的点）被认为是潜在的特征点。特征点精确定位在检测到的极值点中，SIFT对每个点进行精确定位。
2024-10-13 20:26:52
851
原创 OpenCV系列教程三：图像直方图及阈值处理、图像轮廓、形态学操作、车辆统计项目
形态学（）是指一系列用于处理图像形状和结构的算法，其基本思想是利用一种特殊的结构元(本质上就是卷积核)来测量或提取输入图像中相应的形状或特征。形态学操作通常用于预处理、图像分割、特征提取、图像滤波和图像增强等任务。形态学的基本操作包括： 阈值处理的主要意义是将图像中的某些区域分离出来，通常是为了突出前景（如物体）和背景（如场景）。通过二值化，可以将灰度图像转化为黑白图像（即二值图像），使后续的图像分析、边缘检测、目标识别等任务更加简便和高效。 例如，图像由暗色背景上的亮目标组成，这时可以通过设定适当
2024-09-23 08:08:11
900
原创 OpenCV系列教程二：基本图像增强（数值运算）、滤波器（去噪、边缘检测）
图像处理技术利用数学运算获得不同的结果。通常，我们使用一些基本操作可以得到图像的简单增强。在本章中，我们将介绍：下面用opencv读取一张新西兰海岸照函数 cv2.add()用于图像的加法运算，其语法为 需要注意的是，OpenCV 加法和 numpy 加法之间有区别：cv2.add() 是饱和运算（相加后如大于 255 则结果为 255），而 Numpy 加法是模运算。 本节讨论图像加法的简单操作——图像与标量相加，这会导致图像亮度的增加或减少，因为我们最终会对每个像素值增加或减少相同的值。（亮度会
2024-09-20 21:28:38
1076
1
原创 Gradio 教程四：Building Generative AI Applications with Gradio
本课程将通过API调用Hugging Face上运行的模型获取响应，所以需要先设置API密钥用于请求响应时的授权。Hugging Face的"API keys" 称为“用户访问令牌”（User Access Tokens）。首先，访问页面创建自己的用户访问令牌。接下来，为了在本地机器上安全地保存访问令牌，可以将将访问令牌保存到环境变量中。在项目的根目录中创建一个.env文件打开.env后保存为了能够在Jupyter Notebook中加载和使用这个 .env 文件，需要安装库。
2024-07-03 10:07:12
1233
原创 Gradio 4.37.1官方教程二：Blocks
Blocks是Gradio的一个底层API，完全使用Python编写。与Interface类相比，Blocks提供了更多的灵活性和控制
2024-06-29 16:37:37
3072
原创 Gradio官方教程一：Gradio生态系统、主要组件及Interface class简介
Gradio 是一个用于快速构建机器学习模型界面的 Python 库，使用 Gradio 内置的共享功能，您可以在几秒钟内分享您的演示或网络应用程序链接，无需任何 JavaScript、CSS 或网页托管经验！
2024-06-25 04:57:00
4970
原创 AI Agentic Design Patterns with AutoGen（下）：工具使用、代码编写、多代理群聊
接下来我们定义一个财务分析任务，要求创建一张显示 NVDA 和 TSLA 股票年初至今涨幅的图表，确保代码在 markdown 代码块中，并将图像保存为。. "\Here's the complete Python script: # 接下来是代理给出的代码内容plt.show()import os两个预定义的函数已经编写好了，下面在executor的创建方法中加入functions参数，来告诉代理可以使用这两个函数作为工具调用。
2024-06-08 14:08:49
1700
原创 AI Agentic Design Patterns with AutoGen（上）：顺序对话、代理反思
我们还可以检查对话历史和消耗的token数，比如使用pprint库打印对话历史，并检查tokens使用情况和总成本。',你也可以查看此对话的摘要，默认情况下，我们使用最后一条信息作为对话的摘要。')你也可以设置不同的总结的方式，来获得更准确的摘要结果。比如，你可以设置为（大模型总结），并给出具体的总结提示，这样大模型将在对话结束后按照提示总结这段对话的内容。cathy,
2024-06-08 14:08:17
1476
原创 2024.5组队学习——MetaGPT（0.8.1）智能体理论与实战（下）：多智能体开发
接下来，我们需要定义三个具有各自动作的Role具有动作，接收用户的指令并编写主要代码具有动作，从的输出中获取主代码并为其提供测试套件具有动作，审查来自输出的测试用例，并检查其覆盖范围和质量整个软件公司的运作机制如下：如上图的右侧部分所示，Role_observe：将从中获取_observeMessage。如果有一个Role_watch的特定Action引起的Message，那么这是一个有效的观察，触发。
2024-05-22 05:43:18
1608
原创 2024.5组队学习——MetaGPT（0.8.1）智能体理论与实战（中）:订阅智能体OSS实现
介绍如何使用MetaGPY实现订阅智能体，以及多智能体（软件公司）
2024-05-19 23:58:09
1360
原创 2024.5组队学习——MetaGPT（0.8.1）智能体理论与实战（上）：MetaGPT安装，单智能体开发
Agent拥有复杂的工作流程，模型本质上可以自我对话，而无需人类驱动每一部分的交互
2024-05-14 00:07:21
2347
1
原创 LangChain（0.0.340）官方文档十一：Agents之Agent Types
介绍了Agents简单使用方式，以及8种Agent Types
2023-12-29 09:13:15
3109
原创 LangChain（0.0.340）官方文档十：Retrieval——Retrievers（检索器）
介绍了langchain 检索器（Retriever）中的多种检索方法和算法
2023-12-16 21:45:42
3190
原创 LangChain（0.0.340）官方文档九：Retrieval——Text embedding models、Vector stores、Indexing
介绍了Text embedding models、Vector stores和Indexing的基本用法，其中，为文档创建索引可以避免重新计算未更改文档的嵌入，避免将重复的内容写入Vector stores，当源文档更新或删除时自动删除旧版本（可选）
2023-12-14 21:18:05
1827
原创 LangChain（0.0.340）官方文档八：Retrieval——Document transformers
主要介绍了各种Text splitters方法，包括按字符拆分、按文件结构拆分以及按tokens拆分等
2023-12-11 19:27:11
1294
原创 LangChain（0.0.340）官方文档七：Retrieval——document_loaders
介绍了langchain.document_loaders中加载text、html、pdf、csv、markdown、JSON、MP4等各种文件的方法
2023-12-11 19:24:41
3328
原创 LangChain（0.0.340）官方文档六：Output parsers
PydanticOutputParser解析器可以将语言模型的输出解析为符合Pydantic模型的结构化数据，List parser、Datetime parser分别将输出解析为列表和日期格式。Auto-fixing parser可以使用LLM的推断能力来自动修复输出的语法、格式等错误；Retry parser用于在输出不全解析错误时重新获取正确的响应。
2023-12-11 19:12:57
2615
原创 LangChain（0.0.340）官方文档五：Model
LCEL提供了声明式的方式来组合Runnables成为链，它是一个标准接口，可以轻松定义自定义链条并以标准方式调用它们，还可以批处理、流处理等。该标准接口包括以下几个方法（前缀'a'invoke/ainvoke：处理单个输入batch/abatch：批处理多个输入列表stream/astream：流式处理单个输入并产生输出：流式返回中间步骤的数据，以及最终响应数据。
2023-12-04 04:18:41
1588
原创 LangChain（0.0.339）官方文档四：Prompts下——prompt templates的存储、加载、组合和部分格式化
在某些场景下，提示可能需要通过多步构建，所以获取变量的时间或顺序可能不固定。部分格式化允许每一步只传递该步相关的变量，逐步完善提示模板。
2023-12-02 08:13:45
2583
原创 LangChain（0.0.340）官方文档三：Prompts上——自定义提示模板、使用实时特征或少量示例创建提示模板
介绍了Prompt templates和ChatPromptTemplate，自定义Prompt templates和MessagePromptTemplate，连接到Feature Store来使用实时特征创建提示模板，使用少量示例创建提示模板
2023-12-01 15:49:53
4787
原创 LangChain（0.0.340）官方文档一：快速入门
LangChain是一个用于开发由语言模型驱动的应用程序的框架。上下文感知（context-aware）：连接语言模型与上下文来源（提示说明、少量示例、用于构建响应的内容等）。推理（Reason）：依赖语言模型进行推理（根据提供的上下文考虑如何回答，采取什么行动等）。LangChain库：Python和JavaScript库。包含用于各种组件的接口和集成，用于将这些组件组合成链和代理的基本运行时，以及链和代理的现成实现。:提示模板，一系列易于部署的参考体系结构，适用于各种任务。LangServe。
2023-11-24 17:19:53
2916
原创 LangChain（0.0.339）官方文档二：LCEL
LangChain表达式语言（LCEL）是一种声明式方式，可以轻松地将链组合在一起，本文对其进行详细介绍
2023-11-24 17:18:25
3297
原创 Accelerate 0.24.0文档 四：Megatron-LM
张量并行（TP）：降低内存占用，减少节点内的通信量。每个张量被分割成多个部分，每个部分位于不同的GPU上。在每个步骤中，相同的小批量数据由每个部分独立并行处理，然后在所有GPU间进行同步（all-reduce操作）。在简单的Transformer层中，这导致前向路径有2次all-reduce操作，后向路径也有2次。详情请参阅研究论文和🤗博客文章中的部分。管道并行（PP）：通过管道并行降低内存占用并实现大规模训练。
2023-11-17 01:59:53
1443
原创 Accelerate 0.24.0文档 三：超大模型推理（内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理）
简称 mmap tensors，是PyTorch提供的一种特殊的tensors,它允许将数据存储在磁盘文件中，而不占用宝贵的RAM内存，CPU可以直接对磁盘文件中的数据进行读写操作，就像操作RAM中的tensors一样。同样的，也可以方便创建模型，而无需加载权重。您可以使用 max_memory 参数来限制每个 GPU 和CPU上使用的内存，赋予GPU应该传递标识符（例如 0,1），内存值可以是整数（以字节为单位），也可以是表示数字及其单位的字符串，例如 “10GiB” 或 “10GB”。
2023-11-16 15:26:58
3739
1
原创 Accelerate 0.24.0文档 二：DeepSpeed集成
ZeRONVMe《Hugging Face高效训练技术二：大模型分布式训练策略——ZeRO、FSDP》《Hugging Face高效训练技术三：huggingface DeepSpeed文档》ZeRO（Zero Redundancy Optimizer）是一种用于优化大规模深度学习模型训练的技术。它的主要目标是降低训练期间的内存占用、通信开销和计算负载，从而使用户能够训练更大的模型并更高效地利用硬件资源。ZERO：模型状态，包括包括优化器参数（例如Adam的动量和方差）、梯度、模型参数。
2023-11-14 15:46:53
3822
原创 Zephyr-7B论文解析及全量训练、Lora训练
通过论文介绍了Zephyr-7B的原理、训练过程和训练数据集、实验效果。最后列出其完整训练代码
2023-11-11 21:15:33
2355
原创 Hugging Face高性能技术五：Transformer高效推断（bitsandbytes、FlashAttention、 BetterTransformer）
主要介绍了bitsandbytes、FlashAttention、 BetterTransformer等推理优化技术，另外稍微介绍了一下CPU推理优化TorchScript、 IPEX graph optimization、Optimum。
2023-11-09 06:15:56
2606
原创 Hugging Face高效训练技术一：单 GPU 高效训练（Gradient Accumulation、Gradient Checkpointing、混合精度训练、优化其选择）
介绍了单GPU训练的优化技巧
2023-11-06 01:16:45
2696
原创 Hugging Face高效训练技术四：多GPU分布式训练（DP、PP、TP 、ZeRO）
介绍了主要的分布式训练策略：数据并行、模型并行、管道并行、张量并行和Zero
2023-11-02 23:41:07
7809
1
原创 Kaggle - LLM Science Exam（四）：Platypus2-70B with Wikipedia RAG
使用Wikipedia 数据进行多选问答任务的增强，使用Platypus2-70B模型进行逐层推理
2023-10-24 19:20:12
475
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人