- 博客(44)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【论文精度】ViT(AN IMAGE IS WORTH 16*16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE)
虽然transformer已经成为nlp领域的一个标准，但用transformer做cv方面的任务还是很有限的。在视觉中，注意力机制要么是和cnn结合一起用，要么是保持整体结构不变的情况下替换一些cnn组件。本文证明了对cnn的依赖是没有必要的，在一个图像分类任务中，将一个单纯的transformer直接应用在图像块中也是可以表现的非常好。尤其是在大规模数据上作预训练后迁移到中小型数据集上时，ViT能获得与SOTA CNN相媲美的结果。
2023-05-30 18:56:12
263
1
原创 DenseNet与ResNet
起到压缩模型的作用。在标准的卷积网络中，最终输出只会利用提取最高层次的特征，而在DenseNet中，使用了不同层次的特征，倾向于给出更平滑的决策边界。采用密集连接机制，即互相连接所有的层，每个层都会与前面所有层在channel维度上连接在一起，实现特征重用，作为下一层的输入。，DenseBlock中各个层卷积之后均输出k个特征图，即得到的特征图的channel数为k，那么l层输入的channel数为。1✖️1 Conv的作用是固定输出通道数，达到降维的作用，其输出的通道数通常是GrowthRate的4倍。
2023-05-12 11:10:55
1061
1
原创 【动手学习深度学习】Python如何查阅文档
在jupyter中，我们可以使用？指令在另一个浏览器窗口中显示文档，list?与 help(list)相同 ，list?将显示实现该函数的python代码。
2023-04-20 16:28:25
160
原创 词的表示方法笔记——词向量+代码练习
独热编码是一种将单词转化为稀疏向量的方法，其中每个单词都表示为一个只有一个元素为1其余元素均为0的向量，其维度由词库的大小决定。例如，对于包含 4个单词的词汇表 [tapple, banana, orange, peach] 单词“banana”的独热编码为[0,1,0,0]。通过词向量，可以将自然语言处理中的单词转化为计算机可以处理的数字形式，从而便于进行文本分类、情感分析、机器翻译等任务。（1）纬度灾难，有多少个词语我们的维度就多大，对于庞大的语料库来说，存储量和计算量都是问题；（1）没有考虑多义词；
2023-04-19 21:32:43
769
原创 【动手学习深度学习】微积分代码练习
注释#@save是一个特殊的标记，会将对应的函数、类或语句保存在d2l包中。因此，以后无需重新定义就可以直接调用它们（例如，d2l.use_svg_display()）。定义函数，画出函数和x=1时点的切线。
2023-04-17 18:56:29
222
原创 【论文精读（李沐老师）】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
我们介绍了一个新的语言表示模型BERT，这个名字来自于双向的transformer编码器表示。和最近语言表示的模型不同（ELMo、GPT），BERT是被训练深的双向表示，用的是没有标号的数据，然后再连接左右的上下文信息。因为我们的设计，导致我们训练好的BERT只需要额外的加一个输出层，就可以使得在很多nlp的任务上得到一个不错的结果，比如问答、语言推理，且不需要对任务做一些特别的架构上的改动。BERT在概念上更加简单，在实验上更加好。他在11个NLP的任务上得到了新的最好的结果。。
2023-04-10 20:35:09
430
2
原创 Java实训笔记（2022/12/8）
面向对象 面向过程类与对象map set list封装继承 方法重写多态 抽象 接口Object 内部类 匿名类 匿名内部类
2022-12-08 15:55:09
491
原创 损失函数（均方损失L2 Loss，L1 Loss，鲁棒损失）
损失函数（L1 Loss，L2 Loss，鲁棒损失）蓝色：y=0，y’变化。代表了y’对y的偏离程度。绿色：e^(-L) ，损失函数的似然函数，似然函数：用样本求模型的参数以获取总体分布。代表y’在哪里取值时，这个y’对应的参数概率是最大的。橙色：损失函数的梯度梯度下降中，我们是根据它的负梯度方向来更新参数，所以其导数决定了如何更新我们的参数，即决定了每次更新的step，梯度越大参数更新的力度越大，反正亦然。但是有时我们并不像梯度较大时，step较大，此时可以用L1 Loss。定义：绝对
2022-12-04 16:29:57
643
原创 Self-attention自注意力机制——李宏毅机器学习笔记
介绍了self-attention、multiself-attention，并说明了self-attention和CNN、RNN不同之处。
2022-11-28 15:39:40
968
原创 基于循环神经网络的藏语语音识别声学模型——阅读笔记
探索将循环神经网络和连接时序分类算法应用于藏语语音识别声学建模，实现端到端的模型训练。同时根据声学建模输入与输出的关系，通过在隐含层输出序列上引入时域卷积操作来对网络隐含层时域展开步数进行约简，从而有效提升模型的训练与解码效率。实验结果显示，与传统基于隐马尔可夫模型的声学建模方法相比，循环神经网络模型在藏语拉萨话音素识别任务上具有更好的识别性能，而引入时域卷积操作的循环神经网络声学模型在保持同等识别性能的情况下，拥有更高的训练和解码效率。...
2022-07-10 11:00:46
1173
原创 基于瓶颈特征的藏语拉萨话连续语音识别研究——阅读笔记
基于从深度神经网络提取的 瓶颈特征 具有语音长时相关性和紧凑表示的特点，将瓶颈特征及其与MFCC的复合特征用于藏语连续语音识别任务中，可以代替传统的MFCC特征进行GMM-HMM声学建模。在藏语拉萨话连续语音识别任务中的实验表明，瓶颈特征的复合特征取得比深度神经网络 后验特征 和单瓶颈特征更好的识别表现。......
2022-07-03 16:36:58
884
原创 语音识别研究综述——阅读笔记1
摘要：语音识别使声音变得“可读”， 让计算机能够“听懂”人类的语言并做出反应， 是人工智能实现人机交互的关键技术之一。本文介绍了语音识别的发展历程， 阐述了语音识别的原理概念与基础框架，分析了语音识别领域的研究热点和难点， 最后，对语音识别技术进行了总结并就其未来研究进行了展望。.....................
2022-06-13 18:08:12
599
原创 （MATLAB）使用梯度下降进行一元线性回归
使用梯度下降进行一元线性回归Step1：选择函数模型：Step2：选择损失函数：式中m为样本个数，为第i个样本，为第i个样本的真实值；Step3：设定初始值，—权值，—偏执项，—学习率，n—迭代次数；Step4：根据公式：来更新w和b，最终得到最优解。............
2021-07-08 17:45:37
1384
1
conda update --all后conda不能使用！
2022-11-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人