- 博客(19)
- 收藏
- 关注
原创 (8)-2 Transformer实现语义匹配
本文介绍了基于自注意力机制的文本语义匹配方法,使用Transformer模型处理中文问题匹配任务。首先阐述了文本语义匹配的重要性,提出通过自注意力模型解决传统字符串匹配的语义局限。详细讲解了模型构建过程,包括输入编码、位置编码和分段编码的嵌入层设计,以及Transformer编码器的实现。实验在LCQMC数据集上进行,验证了Transformer在语义匹配任务中的有效性。最后介绍了使用框架API简化实现的方法。
2025-09-23 16:00:32
725
原创 (8)-1注意力机制
本文介绍了注意力机制在文本分类任务中的应用,包括加性注意力和点积注意力模型,以及更复杂的自注意力机制(QKV和多头自注意力)。通过实验对比了不同注意力机制在IMDB电影评论数据集上的表现,发现点积注意力效果最佳(准确率86.83%),加性注意力次之(86.49%),多头自注意力为86.16%,均优于无注意力机制的基线模型(86.06%)。阐述了注意力计算过程,包括注意力分布、加权平均等关键步骤。实验结果表明注意力机制能提升文本分类性能,其中点积注意力表现最优。
2025-09-20 21:00:00
2097
原创 (7)网络优化与正则化
系统研究了神经网络优化与正则化方法,通过实验验证了不同优化策略和正则化技术的效果。包括: 1优化方法研究: 对比了批大小、学习率对模型收敛的影响,实验表明较小批大小可加快收敛 实现了AdaGrad、RMSprop、Momentum、Adam等优化算法,发现Adam算法能自适应调整学习率,参数更新更平稳 2参数初始化方法3规范化技术4正则化方法:实现了ℓ2正则化、权重衰减和暂退法。
2025-09-18 09:15:40
985
原创 (6)循环神经网络
循环神经网络(Recurrent Neural Network,RNN)是一类具有短期记忆能力的神经网络.在循环神经网络中,神经元不但可以接受其他神经元的信息,也可以接受自身的信息,形成具有环路的网络结构。
2025-09-15 14:01:15
631
原创 (5)卷积神经网络
卷积神经网络(Convolutional Neural Network,CNN)是受生物学上感受野机制的启发而提出的。目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络,有三个结构上的特性:局部连接、权重共享以及汇聚。这些特性使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性。和前馈神经网络相比,卷积神经网络的参数更少。
2025-09-09 09:34:42
1116
原创 (4)前馈神经网络
本文介绍了前馈神经网络的基本原理与实现方法。主要内容包括:1. 神经网络基础概念,如神经元结构、激活函数(Sigmoid、Tanh、ReLU等)的实现与特性分析;2. 基于Paddle框架实现二分类任务的前馈神经网络,包括模型构建、损失函数、优化器设计等;3. 通过自定义算子与预定义算子两种方式实现网络层;4. 神经网络优化中的常见问题:参数初始化方法(零初始化、高斯/均匀分布初始化)、梯度消失问题(Sigmoid激活函数的缺陷及ReLU的改进)、死亡ReLU问题及LeakyReLU解决方案。
2025-09-06 17:45:00
801
原创 (3)线性分类
线性分类是指利用一个或多个线性函数将样本进行分类。常用的线性分类模型有Logistic回归和Softmax回归。Logistic回归是一种常用的处理二分类问题的线性模型。Softmax回归是Logistic回归在多分类问题上的推广。
2025-08-29 16:38:24
808
原创 (2)机器学习概述
机器学习通常指一类问题以及解决这类问题的方法,即如何从观测数据(样本)中寻找规律,并利用学习到的规律(模型)对未知或无法观测的数据进行预测。
2025-08-26 15:58:24
1089
原创 (1)Tensor张量
在深度学习框架中,数据经常用张量(Tensor)的形式来存储。张量是矩阵的扩展与延伸,可以认为是高阶的矩阵。1阶张量为向量,2阶张量为矩阵。如果你对Numpy熟悉,那么张量是类似于Numpy的多维数组(ndarray)的概念,可以具有任意多的维度。
2025-08-18 11:30:00
2019
原创 MNE(5)读取.edf
stim_channel='auto', #‘status’或者'trigger'的通道设置为STIM。exclude=(), #要排除的频道名称,读取不同采样率的数据时会有所帮助,避免不必要的重采样。misc=None, #通道名称或应指定为MISC通道的索引列表。eog=None, #通道名称或应指定为eog通道的索引列表。preload=False, #如果为True,则数据将被预加载到内存中。mne.io.read_raw_edf(input_fname, #edf文件存放地址。
2025-07-18 14:38:24
264
原创 MNE(4)读取sets和locs文件
读取.locs文件:mne.channels.read_custorm_montage().sets文件:记录采集信息,包含通道数,事件数,开始时间与结束时间。读取.sets文件:mne.io.read_raw_eeglab().locs文件:记录电极位置信息。"""读取.locs文件"""跑出来不知道为什么这样。
2025-07-18 14:34:50
282
原创 MNE(2)数据结构Epoch及其用法
3.通过mne.EpochArray从头创建Epoch对象。"""a.读取fif文件创建epoch对象"""2.通过读取.fif文件生成epoch对象。"""b.从头创建epoch对象"""MNE中数据结构Epoch及创建方法。1)读取fif文件,创建raw对象。1.通过Raw对象和事件事件点。a. 创建epoch对象。2)创建events对象。3)创建epoch对象。
2025-07-18 11:15:18
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅