- 博客(154)
- 收藏
- 关注
RSS订阅原创 深度学习中Transformer的注意力机制底层实现原理（超详细）
学习Transformer之前我们先看一下作者论文中的模型，如下图所示：本章内容主要是自己学习笔记，在学习过程中总结和整理，希望对各位有所帮助。本章学习从基础模型 Transformer 拆解，分析整个 Transformer 架构用到哪些模块，再把整个 Transformer 拼接起来。同时，图中的位置编码、矩形 和 Nx又是什么？这些模块又如何搭建起来呢？当真的有一个任务，又如何使用和完成的？例如在翻译任务中 Transformer 是如何完成的？
2024-04-27 20:26:40
795
原创 Pascal VOC(VOC 2012、VOC 2007) 数据集的简介
PascalVOC(2005~2012)数据集是PASCAL VOC挑战官方使用的数据集。该数据集包含20类的物体。每张图片都有标注，标注的物体包括人、动物（如猫、狗、岛等）、交通工具（如车、船飞机等）、家具（如椅子、桌子、沙发等）在内的20个类别。每个图像平均有2.4个目标，所有的标注图片都有目标检测需要的标签。VOC2007 与 VOC2012VOC2007：包含9963张标注过的图片， 由train/val/test三部分组成， 共标注出24,640个物体。
2024-04-17 20:28:56
1450
原创 经典目标检测YOLOV1理论基础的编码实现（通过编码理解原理）
首先了解数据集，对数据集了解后方便对数据进行相应处理。定义编码器主要目的是用于将边界框（归一化后的边界框信息）和标签编码为目标张量。在utils目录下创建工具类 yolo_dataset.py，中定义主函数进行测试，包含设置和加载一个自定义的Yolo_Dataset数据集，该数据集来源于VOC2012的JPEGImages文件夹。代码中首先导入了必要的模块和类，然后定义了数据集的根目录和预处理操作。接着，创建了一个Yolo_Dataset对象，并通过DataLoader类将其加载为可迭代的数据集。
2024-04-17 18:49:34
243
原创 【目标检测】YOLO系列-YOLOv1 理论基础 通俗易懂
为方便大家理解YOLO的原理，这里将YOLOv1的部分内容基础内容进行用比较直白的话和例子进行阐述，为后续大家学习YOLO作为铺垫。1、模型所干的活工作中，大家经常将 Word 文档 上传到某转换器，然后转换输出为PDF文档。目标检测中我们想做的事也类似，就是输入一张图，输出一张带有框（标注对应的物体）的图片。如下图所示：问题：这个框是如何还出来的呢？通过模型画出来的，这模型就相当于 word到pdf的转换器。如下图：进一步理解，需要不断调试，不断计算损失，看看在哪个位置画框最合适。
2024-04-17 12:02:43
535
原创 机器学习-关联规则算法Apriori及编码实现
lift(X→Y)=confidence(X→Y)/P(Y),表示含有X的条件下，同时含有Y的概率，与Y总体发生的概率之比。confidence(X→Y)=|X交Y|/|X|，集合X与集合Y同时出现的总次数/集合X出现的记录数。support(X→Y)=|X交Y|/N，表示物品集X和Y同时出现的次数占总记录数的比例。-- TID是交易编号，表示一次购物交易的唯一标识，即用户购买的一次记录。项集：项的集合，包含k个项的项集称为k项集，例如上面。中的占比，例如 A表示手机，B表示手表，手机和手表。
2024-03-31 15:46:27
398
原创 Linux虚拟机环境搭建spark
Linux环境搭建Spark分为两个版本，分别是Scala版本和Python版本。本环境以 Python 环境为例。
2024-03-27 13:37:21
891
原创 虚拟机Linux（centos）安装python3.8（超详细）
输入下面网址即可直接下载：补充：本环境选择版本是3.8版本，最好以root身份登录，避免不必要的麻烦。
2024-03-27 10:49:06
2749
原创 协同过滤前置条件
集体智慧是一种共享或群体的智能，它通过结合多个人的知识、数据、技能和智力，协同解决社会问题。在移动互联网时代，集体智慧在Web应用中发挥着重要作用，表现为群体决策、众包、在线知识社区等多种形式。集体智慧的特征在于一致和协调的集体思考，对问题的集体解决能力，以及通过共享知识和资源优化决策。其应用广泛，包括谷歌搜索算法、社交网络服务、众包等领域，共同构建和优化用户体验。
2024-03-23 23:57:50
206
原创 常用相似度计算方法总总结
相关系数的绝对值越大，相关性越强，相关系数越接近于1或-1，相关度越强，相关系数越接近于0，相关度越弱。(3)、当X的值增大（减小），Y值减小（增大），两个变量为负相关，相关系数在-1.00与0.00之间。(2)、当X的值增大（减小），Y值增大（减小），两个变量为正相关，相关系数在0.00与1.00之间。0.0-0.2 极弱相关或无相关。相关系数：考察两个事物（在数据里我们称之为变量）之间的相关程度。相关系数 0.8-1.0 极强相关。(1)、当相关系数为0时，X和Y两变量无关系。
2024-03-23 22:36:55
532
原创 机器学习K-means算法
其次我们要先确定红豆、绿豆、黑米、大米、花生、莲子、花豆各自的中心点，以各自的中心点进行抓取，这样分堆对快。例如下图中，红色中心点是大米区域的中心点，以这个为中心，距离这个中心点近的大米比较多。你的回答会慢一些，因为你会看一下，想一会再分一下类（红豆、绿豆、黑米、大米、花生、莲子、花豆）最后再回答。那么问题来了，让你将图2 中的五谷杂粮像图1中一样分好堆，需要分几堆呢？给你如下两种图片，快读回答2个问题，问 图1 中有几类五谷杂粮？问题2 回答慢的原因是 图中未进行分类，需要自己进行分类。
2024-03-23 17:36:49
577
原创 HarmonyOS系统开发ArkTS常用组件弹窗及参数
弹窗是移动应用中常见的一种用户界面元素，常用于显示一些重要的信息、提示用户进行操作或收集用户输入。ArkTS提供了多种内置的弹窗供开发者使用，除此之外还支持自定义弹窗，来满足各种不同的需求。
2024-03-20 12:04:51
882
原创 HarmonyOS系统开发ArkTS常用组件切换按钮及参数
Toggle组件的参数：Toggle(options: { type: ToggleType, isOn?: boolean })Toggle为切换按钮组件，一般用于两种状态之间的切换，例如下图中的蓝牙开关。
2024-03-20 10:17:08
206
原创 HarmonyOS系统开发ArkTS常用组件按钮及参数
Button组件有两种使用方式，分别是不包含子组件和包含子组件两种方式。不同方式Button 组件所需的参数有所不同。: { type?ButtonType.Capsule 胶囊形状ButtonType.Circle 圆形ButtonType.Normal 普通形状。
2024-03-20 10:05:31
455
原创 HarmonyOS系统开发ArkTS常用组件文本及参数（五）
鸿蒙中的文本组件是Text，其中的文字内容可是直接写死在代码中，也可是编辑到resources目录下下的不用环境的配置文件中，如base、en_Us、zh_Us目录下的element中的 String.json文件。
2024-03-19 23:22:24
337
原创 自然语言处理学习总结
存在问题：词的表示有时候有差异，如果apple表示水果，但也表示苹果公司。同时受限于词典的标注和范围及人工问题。词义的表示方法：近义词、反义词或隶属与的上位词等相关的词放到一起，表示这个词的词义。词表示：自然语言中最基本的语言单位表示成机器理解的方式。新的词义的表示方法是:one-hot编码，即向量。方式一：词与词之间的相似度。方式二：词与词之间的关系。
2024-03-18 23:13:46
1099
原创 HarmonyOS系统开发ArkTS常用组件图片及参数（四）
我们在使用resources下的资源时，无需指定具体的环境版本，系统会根据设备所处的环境自动选择匹配的版本，例如当设备系统语言为中文时，则会使用zh_CN目录下的资源，为英文时，则会使用en_US目录下的资源。resources 目录下，可能存在base、（zh_CN和en_US）、系统主题（dark和light）、设备类型（phone 和 tablet）和 rawfile 等适配不同的环境的不同版本的目录。用于存储任意格式的原始文件，需要注意的是rawfile不会根据设备所处的环境去匹配不同的资源。
2024-03-18 13:56:16
384
原创 HarmonyOS系统开发ArkTS入门案例及组件（三）
提高代码复用性@Component 装饰器：装饰 struct 关键字声明的数据结构@Entry 装饰器：标识该组件为组件树的根节点，也就是一个页面入口组件struct：ArkTS用于自定义组件或者自定义定义弹窗的关键字，与结构类相似build() build() 用于声明自定义组件的UI结构组件属性：定义组件的属性。
2024-03-18 13:35:20
1160
原创 HarmonyOS系统开发基础环境搭建（一）
1.2 HarmonyOS软件编程语言是ArkTS，是基于TypeScript的拓展，而TypeScript又是JavaScript的拓展，所以有过JavaScript经验会更容易些。1.1 HarmonyOS是华为自研的一款分布式操作系统，兼容Android，但又区别Android，不仅仅定位于手机系统。更侧重于万物物联和智能终端，目前已更新到4.0版本。安装目录可以默认安装，本文章采用自定义安装目录。2.4 下载DevEco Studio。2.3 创建安装目录。
2024-03-10 09:20:06
499
原创 Flink 环境的搭建、独立集群、Flink on Yarn、访问Flink web界面、Flink提交任务的三种方式、Flink读取HDFS上的数据Flink 运行方式
Flink：框架和（分布式）引擎，对（有界和无界）数据流进行有状态（即存储中间结果）计算。有定义的开始，没有结束，必须持续处理，即摄取到数据立即处理有定义的开始，也有结束，摄取到所有数据后再计算，可以被排序，即无需有序摄取，通常称为批处理。内存：速度快，可靠性差分布式系统：速度慢，可靠性强DataStream 批流统一处理DataStream 批流统一处理，数据流的统一处理接口。批处理，是将其数据当作有界(有定义开始，有定义结束)流处理，例如文本文件数据。
2024-02-18 14:45:12
636
原创 03 软件工程项目开发流程-头脑风暴
在软件项目开发过程中，利用头脑风暴法识别项目风险时，要将项目主要参与人员代表召集到一起，然后他们利用自己对项目不同部分的认识，识别项目可能出现的问题。一个有益的做法是询问不同人员所担心的内容。在软件项目开发过程中，头脑风暴的主要作用是充分发挥集体智慧，保证群体决策的创造性，提高决策质量。头脑风暴可以在需求调研时进行，可以在需求调研之后进行，也可以在需求调研报告编写之后进行。
2024-01-19 17:57:56
414
原创 01 软件工程项目开发流程-需求调研
软件工程项目开发流程案例，以虚拟仿真实训教学管理及资源共享平台案例为例子，虚拟仿真实训教学管理及资源共享平台用于对虚拟仿真实训教学场所、虚拟仿真实训设施设备和虚拟仿真实训资源进行跨专业、跨院校、跨地域的统筹管理，应具备虚拟仿真实训教学过程的监控分析及虚拟仿真实训资源汇聚分配的管控统计等功能，用于双高院校。有哪些额外的成本考量？您认为平台应具备哪些核心功能以支持学校的业务目标？目前的虚拟仿真实训项目有哪些？您希望平台在界面、操作流程等方面有哪些改进？您认为平台的易用性如何？
2024-01-19 17:36:04
1128
原创 Linux下的同步命令代码编写
如：hostnamectl --static set-hostname hadoop001。hostnamectl --static set-hostname 主机名。#7. 进行数据文件夹或文件异步传输。#6. 获取当前文件的名称。在 /usr/bin下面编辑同步命令。#3. 遍历所有目录，挨个发送。#4判断文件是否存在。3.配置IP与主机名映射。#2. 遍历集群所有机器。
2023-12-08 13:31:54
422
原创 大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）
-是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指定HDFS中NameNode的地址 默认 9000端口-->-- 指定Hadoop运行时产生文件的存储目录 -->-- 2nn web端访问地址 可以不配置-->-- 历史服务器web端地址 -->
2023-11-15 13:50:03
4115
2
原创 ssh免密登录
执行 ssh-keygen -t rsa （ 其中 rsa 是非对称算法）.ssh/authorized_keys文件权限必须是600。生成之后会在用户的根目录生成一个 “.ssh”的文件夹。将 公钥内容追加到 authorized_keys 中。修改 .ssh目录的权限必须是700。修改 authorized_keys 权限。一路回车到底，生成密钥。
2023-11-03 17:17:31
320
原创 大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
win环境下大数据Hadoop的部署hadoop+hive环境
2023-10-17 14:36:20
5140
4
原创 yolo的自定义数据集及工具使用详解
LabelImg是一个开源的图形图像注释工具，用于创建边界/矩形框（适用于要标注物体的位置和大小）和多边形注释（适用于标注非规则形状的物体）。它是用python写的，并使用Qt作为其图形界面，所以安装LabelImg需要安装Qt。LabelImg能够在Windows、Linux和macOS等多个平台上运行。它还支持各种类型的图像文件格式，如JPG、PNG和 BMP等。二、标注的数据格式VOC标签格式，保存为.xml文件YOLO标签格式，保存为.txt格式。
2023-09-27 09:34:28
800
原创 03【深度学习】YOLOV3-WIN11环境搭建（配置+训练)
本篇文字是【深度学习】YOLOV5-WIN11环境搭建（配置+训练)，首先介绍win11下 基于Anaconda、pytorch的YOLOV5深度学习环境搭建，环境配置顺序：显卡驱动 - CUDA - cudnn - Anaconda - pytorch - pychorm，按这个顺序配置可以避免很多莫名其妙的错误出现。另外不用单独安装python，使用Anaconda里的python环境。做深度学习，YOLOV5模型的图像识别，我们需要大量的数据集来进行训练，才能达到准确识别的效果。
2023-09-20 08:13:39
8424
17
原创 06目标检测-One-stage的目标检测算法
复杂的网络结构：经过LeNet又出现了LSNet、Resnet、Vgg等复杂的网络结构，这些网路结构往往是用来增加网络的深度，因为网络越深，非线性表达能力越强，得到物体更加抽象的表达，对于图像的变化敏感度越不敏感，鲁棒性越强，解决非线性任务能力越强，同时也会导致梯度消失或梯度弥散。输入图片------对图片进行深度特征的提取（主干神经网络）------对目标的位置进行定位和分类，One-stage和Two-stage的区别就在于是否包含了候选区域推荐的过程。
2023-09-12 16:49:16
989
原创 04目标检测-Two-stage的目标检测算法
前面我们对进行了对比分析，同时上一篇我们介绍了传统算法在目标检测的原理和效果，此篇我们记录了我学习目标检测算法的深度，深入讲述一下深度学习算法在目标检测的原理和效果。原文链接：https://blog.csdn.net/qq_41946216/article/details/132800752。版权声明：本文为CSDN博主「爱吃面的猫」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。One-stage（YOLO和SSD系列）：直接回归目标位置。
2023-09-11 10:15:31
1025
原创 03目标检测-传统方法与深度学习算法对比
目标检测“是当前计算机视觉和机器学习领域的研究热点。从Viola-Jones Detector、DPM等冷兵器时代的智慧到当今RCNN、YOLO等深度学习土壤孕育下的GPU暴力美学，整个目标检测的发展可谓是计算机视觉领域的一部浓缩史。整个目标检测的发展历程已经总结在了下图中：可以看出，在2012年之前，在目标检测领域还是以传统手工特征的检测算法为主，但是随着卷积神经网络(CNN)在2012年的兴起，目标检测开始了在深度学习下的暴力美学。在深度学习下，目标检测的效果比传统手工特征效果好太多。
2023-09-11 10:09:47
1490
原创 02目标检测-传统检测方法
在目标检测算法的发展过程中基于手工特征的传统算法曾经是主流。这些传统算法通过设计和提取手工设计的特征来识别目标物体，包括Haar 特征、HOG 特征、SIFT特征等。本文将深入探讨目标检测算法中基于手工特征的传统算法介绍其原理、优缺点以及在计算机视觉中的应用。基于手工特征的传统目标检测算法是一类早期的目标检测算法，它通过人工设计和提取特征来识别目标物体。这些特征通常是基于图像的局部信息，如边缘、纹理、颜色等。在特征提取的基础上，传统算法通常使用。
2023-09-09 16:09:42
1490
原创 01目标检测-问题引入
不管是图像分类还是目标检测，在使用深度学习技术进行处理的时候，都需要特征提取环节，对于经典的机器学习方法，通常会通过设计手动的特征，来完成特征提取，而深度学习往往通过卷积神经网络来完成特征的抽取。
2023-09-09 15:43:29
464
原创 21 Spring Boot整合Redis
目前主流的 Java 项目都在使用 Spring Boot，那么我们就来在 Spring Boot 中整合 Redis。”的方式逐步的取代了早起通过 XML 进行配置的方式，使得在 Spring Boot 中整合各种库或者依赖都非常的方便。在我们创建 Spring Boot 项目时，选择相关的 Starter 时，Spring Boot 使用“
2023-09-08 17:48:52
260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人