NLP
文章平均质量分 69
热心市民小石_
这个作者很懒,什么都没留下…
展开
-
Sklearn 卡方检验
见知乎小白记录贴,侵删~感恩!使用sklearn官方接口代码如下首先import包和实验数据:from sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2from sklearn.datasets import load_iris iris = load_iris()2. 使用卡方检验来选择特征model1 = SelectKBest(chi2, k=2原创 2021-03-17 15:43:07 · 1735 阅读 · 0 评论 -
Transformer-self attention
详见知乎~感恩~小白记录贴,侵删~感恩Encoder包括Multi-head self attention,Skip connection,LayerNorm,FFself-attention之前看过一位老师说transformer在长文本上效果没有RNN好, 针对这一问题, 这篇文章做了相关阐述----Why Self-Attention? A Targeted Evaluation ofNeural Machine TranslationArchitectures, 中文版是为什原创 2021-03-07 14:51:47 · 202 阅读 · 0 评论 -
LSTM和GRU
详文见知乎小白记录贴~(侵删,感恩)RNNLSTMLSTM在RNN的基础上引入了门控机制:遗忘、输入和输出LSTM能保持长期记忆的原因:两个通道在保持记忆:短期记忆h,保持非线性操作;长期记忆C,保持线性操作。因为线性操作是比较稳定的,所以C的变化相对稳定,保持了长期记忆。而对有用信息的长期记忆是通过训练获得的,也就是说在内部的几个权值矩阵中。GRUGRU是LSTM的变体,门控变为update(大佬们都说是将forget和input gate耦合成upda原创 2021-03-05 21:47:14 · 155 阅读 · 0 评论 -
CNN相关公式
建议可以先看一下这个问题如何通俗易懂地解释卷积?,会了解的更透彻~(我甚至觉得百度百科都值得探索)回归正文~记录贴(侵删,感恩)卷积的物理意义:系统某一时刻的输出是由多个输入共同作用(叠加)的结果。放在图像分析里,可以理解为原始像素点(source pixel),所有的原始像素点叠加起来,就是原始图了。卷积的3个核心思想:稀疏交互(sparse interactions),即每个节点通过固定个(一般等于卷积核元素的数目,远小于前一层节点数)连接与下一层的神经元节点相连; 尽管是稀...原创 2021-03-05 21:39:55 · 368 阅读 · 0 评论 -
CUDA error: device-side assert triggered解决方案
问题:error–CUDA error: device-side assert triggered先来说问题的根本原因:超出限制!一、问题背景model:TextCNN( (embedding): Embedding(199269, 200) (convs): ModuleList( (0): Sequential( (0): Conv2d(1, 100, kernel_size=(3, 200), stride=(1, 1)) (1): ReLU().原创 2021-02-17 13:44:14 · 3760 阅读 · 0 评论 -
word2vec(gensim) 和 torchText
word2vec(gensim) 和 torchText知乎原文一、gensim-word2vec/GLoVe方法一:切词之后直接将二维句子数据输入到gensim的word2vec模型中from gensim.models import word2vec# 引入数据集raw_sentences = ["the quick brown fox jumps over the lazy dogs","yoyoyo you go home now to sleep"]# 切分词汇sentences=原创 2021-02-04 21:55:52 · 756 阅读 · 2 评论 -
积分梯度:一种新颖的神经网络可视化方法
积分梯度:一种新颖的神经网络可视化方法原文地址:https://kexue.fm/archives/7533朴素梯度积分梯度鉴于直接使用梯度的上述缺点,一些新的改进相继被提出来,如LRP、DeepLift等,不过相对而言,笔者还是觉得积分梯度的改进更为简洁漂亮。参照背景积分恒等离散近似实验效果原始效果原始论文实现:https://github.com/ankurtaly/Integrated-Gradients下面是原论文的一些效果图:个人实现总结本文介绍了一种转载 2020-12-23 15:30:33 · 519 阅读 · 0 评论