- 博客(27)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 四、自然语言处理_07Transformer架构原理笔记
在原始论文《Attention Is All You Need》中，Transformer的架构如下图所示。经过个人整理，对架构图的解读如下图所示（提示：下图为高清图，可放大查看细节内容）
2024-12-12 18:58:06
551
原创 四、自然语言处理_06Transformer基础知识笔记
依赖循环，无法并行处理：RNN的结构依赖于循环，每个时间步之间都是严格时序的（一步接一步），这导致其无法进行并行计算，也就无法充分利用分布式高性能并行计算资源，从而使得训练和推理速度较慢长距离依赖问题：RNN在处理长序列数据时，会出现梯度消失问题，从而难以捕捉到距离当前位置较远的依赖关系；随着时间间隔的增加，输入信息对于隐藏层状态的影响被逐渐“稀释”，导致模型难以学习到长期依赖多层堆叠性能回报有限。
2024-12-12 18:50:40
1110
1
原创 四、自然语言处理_05Seq2Seq模型与案例
Seq2Seq（Sequence-to-Sequence）是一种处理序列到序列问题的深度学习模型，广泛应用于机器翻译、文本摘要、语音识别、聊天机器人等自然语言处理任务中：指的是输入和输出都是序列数据，可以是文本、语音、时间序列信号等2：表示转换（transduction），即将一种序列转换为另一种序列（也就是将输入序列转换为输出序列）本质：学习输入序列和输出序列之间的映射关系现有一个《data.txt》文件，里面存放了很多组翻译对（即：英文句子 - 中文句子 的组合）
2024-12-06 13:35:23
1794
原创 四、自然语言处理_04时序信号的预测思想
时序信号在时间维度上存在先后顺序，要想对其做预测，则需要“用过去的自己“来预测”未来的自己”import osplt.show()上面一个正弦信号【y=sin(x)】的示例图，将x轴视为时间维度，y轴视为数据值，其即可表示为时序信号所以，”时序信号的预测问题“就可以转换为“根据过去的x1时间对应的y值，来预测未来x2时间的y值”1、拟合：y = f(x)输入：x输出：y方法：全连接（Linear）2、拟合：y_n = f(y_1, y_2, ..., y_n-1)输入：过去的y输出：当前的y。
2024-12-06 13:23:53
568
原创 四、自然语言处理_03LSTM与GRU
随着循环神经网络（RNN）在各种序列数据处理任务中被广泛应用，研究人员逐渐发现了其在处理长序列数据时会容易出现梯度消失（vanishing gradient）和梯度爆炸（exploding gradient）问题，限制了其在实际应用中的有效性。
2024-12-05 09:49:42
925
原创 四、自然语言处理_02RNN基础知识笔记
RNN（Recurrent Neural Network，循环神经网络）是一种专门用于处理序列数据的神经网络架构，它与传统的前馈神经网络（Feedforward Neural Network）不同，主要区别在于它能够处理输入数据之间的时间依赖性，这使得它特别适合于处理时间序列数据、自然语言文本、语音信号等类型的数据。
2024-12-04 16:05:20
678
原创 四、自然语言处理_01时序信号与文本向量化
以往我们做数据处理时，大多数都是处理一维数组、二维表格、三通道图像这些常规类型的数据，这些数据最多是在行/列、宽/高维度上存在顺序，但在时间维度上面没有顺序时序信号是指包含时序数据（Time Series Data）的信号，时序数据是一种特殊的数据类型，它记录了按时间顺序排列的数据点，包括语音、心电图、金融市场等数据在处理时序数据时，需要考虑到数据点之间的时间顺序和依赖关系，时间顺序和依赖关系对于理解时序数据的内在规律至关重要（即：除了特征很重要，特征之间的顺序也很重要）
2024-12-04 16:04:25
1295
原创 三、计算机视觉_10经典的数据集与目标检测数据标注格式
PASCAL VOC数据集是计算机视觉领域较早的数据集之一，对目标检测技术的发展有重要影响，它包含的图像数量相对较少，但每个图像都经过了精心的标注，适合用于算法的验证和测试。尽管有上面这些标准的数据标注格式，但在标注数据时，我们通常并不是直接在标注文件中手写内容，而是通过一些可视化的工具来进行标注，让工具帮我们生成对应的标注文件内容。备注：做目标检测的数据标注，通常产生的是与图片相对应的标注格式文件，而不是产生标注后的图片，一般都是通过【原图】+【与之相对应的标注格式文件】进行项目开发。
2024-12-02 13:31:33
1167
原创 三、计算机视觉_09GAN对抗学习案例
对抗学习（Adversarial Learning）是一种机器学习范式，它涉及到两个或多个模型在相互竞争的环境中进行训练，以提高各自的性能，这种学习方式的核心思想是通过对抗过程来激发模型的潜力，使它们在面对对手的挑战时不断进化和改进现存在一批手写数字的数据集（类似下图），需要通过GAN来模仿手写数字，使得生成器能生成与手写数字非常相似的图像，且不易被鉴别器识别。
2024-12-02 13:29:34
1160
原创 三、计算机视觉_08YOLO目标检测
YOLO作为目前CV领域的扛把子，分类、检测等任务样样精通，本文将基于两个小案例，用YOLO做检测任务，看看效果如何。
2024-11-26 13:22:37
649
原创 三、计算机视觉_07YOLO图像分类
在《LeNet5及手势识别案例》文章中，我们基于LeNet-5网络结构，根据【gestures】手势数据集做了模型训练和预测YOLO作为目前CV领域的扛把子，分类、检测等任务样样精通，本文将根据之前的gestures】手势数据集，换用YOLO来做手势预测的分类任务，看看效果如何。
2024-11-26 13:21:11
838
2
原创 三、计算机视觉_06YOLO基础知识
YOLO（You Only Look Once）是一种流行的对象检测和图像分割模型，由华盛顿大学的 Joseph Redmon 和 Ali Farhadi 于 2015 年推出，因其高速和准确性而迅速受到欢迎在目标检测领域，传统方法（如R-CNN系列算法）将目标检测分为两个阶段：首先使用区域候选网络（RPN）提取候选目标信息然后通过检测网络完成对候选目标的位置和类别的预测和识别。
2024-11-21 09:38:10
1147
原创 三、计算机视觉_05MTCNN人脸检测
人脸识别流程包括两个主要步骤：Step1：人脸检测，确保我们处理的是正确的人脸区域Step2：身份识别，确定该人脸的身份。
2024-11-21 09:35:42
1266
原创 三、计算机视觉_04AlexNet、VggNet、ResNet设计思想
AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年ImageNet大规模视觉识别挑战赛（ILSVRC）中提出的，它不仅赢得了当届的比赛，还激发了后续许多创新的神经网络架构（如VGGNet、ResNet、GoogLeNet等）的开发VggNet是由牛津大学的视觉几何组（Visual Geometry Group）在2014年ImageNet大规模视觉识别挑战赛（ILSVRC）中提出的，在当届比赛中取得了第二名的成绩。
2024-11-17 17:27:37
1152
原创 三、计算机视觉_03LeNet5及手势识别案例
LeNet-5是一种经典的卷积神经网络（CNN）架构，由Yann LeCun在1998年提出，用于手写数字识别，LeNet-5是卷积神经网络的开创性工作之一，它引入了卷积层、池化层和全连接层的组合，为现代深度学习模型奠定了基础卷积层（Convolutional Layer）：使用多个卷积核提取图像特征池化层（Pooling Layer）：通常使用最大池化（Max Pooling）或平均池化（Average Pooling）来降低特征图的空间维度全连接层（Fully Connected Layer）
2024-11-17 17:25:33
1173
原创 三、计算机视觉_02计算机视觉领域的四大基本任务
计算机视觉是人工智能领域的一个重要分支，它是一个跨学科的领域，涉及计算机科学、人工智能、机器学习、图像处理、神经科学等多个学科的知识计算机视觉使用计算机技术来模拟人类视觉系统的功能，使计算机能够从图像或多维数据中提取信息、识别对象/场景/活动，其目标是使计算机能够像人类一样“看”和“理解”视觉世界自动驾驶汽车：使用视觉系统来识别道路标志、行人、其他车辆等医疗成像：辅助诊断，如肿瘤检测、骨折识别等安全监控：人脸识别、异常行为检测等工业自动化：质量控制、机器人导航等增强现实和虚拟现实。
2024-11-15 09:32:53
871
原创 三、计算机视觉_01图像的基本操作
0 前言图像的读取和处理是计算机视觉领域中的一个基本任务，在Python中，有几个流行的库可以用来读取和处理图像数据0.1 Matplotlib介绍Matplotlib是Python中一个非常流行的绘图库，它通常用于数据可视化，虽然它不是专门的图像处理库，但它提供了基本的图像读取和显示功能，其特点如下：数据科学三剑客之一：Matplotlib常与Pandas和NumPy一起使用，是数据科学领域的重要工具 数据可视化：它主要用于创建高质量的图表和图形，但也可以用来显示图像 高仿Matlab
2024-11-15 09:31:20
1200
1
原创 二、深度学习_基本概念笔记
深度学习（Deep Learning）是机器学习的一个子集，它基于人工神经网络（特别是深层神经网络）的学习，深度学习模型能够学习数据中的复杂模式，并且在图像识别、语音识别、自然语言处理等多个领域都有典型的应用（1）概念层面：（2）模型结构：（3）数据依赖性：（4）计算资源：（5）应用领域：（6）特征工程：（7）可解释性：备注：尽管存在这些区别，深度学习和机器学习在实践中往往是互补的，深度学习可以作为机器学习中的一种强大工具，而机器学习中的许多概念和技术也适用于深度学习模型的开发和优化深度学习指的是使用深层神
2024-11-13 19:51:52
1035
原创 一、机器学习算法与实践_07支持向量机与集成学习算法笔记
SVM（Support Vector Machine，即：支持向量机）是一种监督学习算法，主要用于分类问题，但也可用于回归分析（称为支持向量回归，Support Vector Regression，简称SVR）集成学习（Ensemble Learning）是一种机器学习方法，它结合多个不同的机器学习模型，以便提高预测准确性、鲁棒性或计算效率。
2024-11-13 19:48:58
1349
原创 一、机器学习算法与实践_06迭代法和KMeans、线性回归、逻辑回归算法笔记
线性回归（Linear Regression）是一种预测连续数值的监督学习算法，它试图找到特征和目标变量之间的线性关系，并通过线性关系进行模型的训练和预测逻辑回归（Logistic Regression）虽然名字中有“回归”二字，但实际上它并不是一种回归算法，而是一种分类算法，它通常用于预测离散类别标签，特别是二分类问题。
2024-10-04 16:41:46
1529
原创 一、机器学习算法与实践_05项目实战——信用卡客户流失分析预测及PCA、SVD特征降维
字段名称字段类型字段说明CLIENTNUM整型客户编号，拥有帐户的客户的唯一标识符字符型目标，客户活动情况，如果帐户已关闭，则为1，否则为0整型客户的年龄，以年为单位Gender字符型性别，男性（M），女性（F）整型受抚养人的数量字符型教育资格（例如：高中（high school），大学毕业（college graduate）等）字符型婚姻状况，已婚（Married），单身（Single），离婚（Divorced），未知（Unknown）字符型。
2024-09-27 13:29:42
1007
原创 一、机器学习算法与实践_04信息论与决策树算法笔记
信息论是运用概率论与数理统计的方法，去研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科，熵（Entropy）是信息论中的一个重要概念，由克劳德·香农（Claude Shannon）提出，用于衡量信息的不确定性或系统的混乱程度在机器学习中，熵的概念被用来评估数据集的不纯度，进而指导决策树等算法的构建决策树是一种非常流行和好用的监督式学习算法，用于分类和回归任务，它通过从数据中学习决策规则来预测目标变量的值节点：代表一个特征或属性（分为根节点和子节点）分支。
2024-09-24 15:27:25
912
原创 一、机器学习算法与实践_03概率论与贝叶斯算法笔记
人工智能项目本质上是一个统计学项目，是通过对样本的分析，来评估/估计总体的情况，与数学知识相关联高等数学——> 模型优化概率论与数理统计——> 建模思想线性代数——> 高性能计算朴素贝叶斯分类器：基于贝叶斯定理，使用概率来预测数据点的类别逻辑回归：虽然通常被视为线性分类器，但它本质上是一个概率模型，输出的是数据点属于某个类别的概率隐马尔可夫模型（HMMs）：使用概率来描述状态转换和观测序列所以，我们需要先了解概率论相关基础知识，为下面理解贝叶斯算法原理打下基础。
2024-09-20 21:24:17
2322
原创 一、机器学习算法与实践_02KNN算法笔记
KNN（K-NearestNeighbor，即：K最邻近算法）是一种基于实例的学习方法，用于分类和回归任务，它通过查找一个数据点的最近邻居来预测该数据点的标签或数值。所谓K最近邻，就是K个最近的邻居，即：每个样本都可以用它最接近的K个邻近值来代表在本文第四章节的KNN算法实践中，用的都是sklearn库中的标准模块和函数，为了理解其中的实现原理，以及学习如何自定义一个机器学习算法，本章节将以分类和回归两个任务来展现KNN算法的自定义流程（其实就是全面模仿sklearn）
2024-09-14 13:16:58
1518
原创 一、机器学习算法与实践_01基本概念与项目流程笔记
传统算法和机器学习算法各有优势和适用场景：传统算法在规则明确、结构化的问题上表现良好，而机器学习算法在处理复杂、非结构化数据和需要自适应学习的场景中表现出色。在实际应用中，两者往往可以结合使用，以发挥各自的优势。
2024-09-14 13:15:48
2242
原创 mysql基础语法——个人笔记
以前学习且实践过mysql，但后来用得少，随着岁月更替，对其印象渐浅，所以每次需要用时，都会去再看一眼语法规范，然后才能放心动手操作然而，在信息爆炸的时代，查语法规范时，检索出来的资料总是五花八门，有时需要看好几篇资料，才能汇总得出完整的、准确的、符合自己语言习惯的信息，这一过程费时费力。
2024-08-31 16:34:42
3380
原创 XSS、CSRF/XSRF、CORS介绍
XSS、CSRF/XSRF、CORS介绍1 XSS1.1 名词解释1.2 作用原理1.3 防范措施2 CSRF/XSRF2.1 名词解释2.2 作用原理2.3 防范措施2.3.1 验证码2.3.2 Referer Check2.3.3 添加 token 验证(token==令牌)3 CORS3.1 名词解释1 XSS1.1 名词解释XSS，即：Cross Site Script，中译是跨站脚本攻击；其原本缩写是 CSS，但为了和网站前端技术领域——层叠样式表(Cascading Style Sheet
2021-03-24 21:56:50
1345
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人