NLP 相关杂谈
NLP 相关杂谈
shimly123456
这个作者很懒,什么都没留下…
展开
-
(done) 关于 pytorch 代码里常出现的 batch_first 到底是啥?
TODO:here。原创 2024-05-14 21:49:25 · 98 阅读 · 0 评论 -
(done) NLP+HMM 协作,还有维特比算法
参考视频:https://www.bilibili.com/video/BV1aP4y147gA/?原创 2024-05-14 15:26:02 · 130 阅读 · 0 评论 -
(done) 什么是隐马尔可夫模型?
参考视频1:https://www.bilibili.com/video/BV1ko4y1P7Zv/?参考视频2:https://www.bilibili.com/video/BV1tV4y1y7Z5/?原创 2024-05-14 10:01:55 · 259 阅读 · 0 评论 -
(done) 什么是马尔可夫链?Markov Chain
参考视频:https://www.bilibili.com/video/BV1ko4y1P7Zv/?原创 2024-05-13 23:09:20 · 438 阅读 · 4 评论 -
(done) Beam search
参考视频1:https://www.bilibili.com/video/BV1Gs421N7S1/?spm_id_from=333.337.search-card.all.click&vd_source=7a1a0bc74158c6993c7355c5490fc600 (beam search 视频)参考博客1:https://jasonhhao.github.io/2020/06/19/S2S-Beam-Search/ (beam search 博客)原创 2024-05-13 21:21:20 · 85 阅读 · 0 评论 -
(NLP) 除了 CS224n 还有 CS124
CS224n 课程网页:https://web.stanford.edu/class/cs224n/index.html#coursework (有所有的 lecture notes 和 作业 哦!斯坦福大学的 NLP 经典公开课除了 CS224n,还有 CS124 “From Languages to Information”https://web.stanford.edu/class/cs124/原创 2024-05-10 22:07:56 · 103 阅读 · 0 评论 -
(done) LSTM 详解 (包括它为什么能缓解梯度消失)
参考视频:https://www.bilibili.com/video/BV1qM4y1M7Nv?原创 2024-05-04 20:00:08 · 475 阅读 · 0 评论 -
(done) 什么是 SVD 奇异值分解?什么是 TruncatedSVD 截断奇异值分解?
来源:https://www.bilibili.com/video/BV16A411T7zX/?原创 2024-04-23 23:38:26 · 131 阅读 · 0 评论 -
什么是 PMI ? Pointwise mutual information. 点间互信息
其实基本就是用来表达两个词汇之间的关联性 (它们一起出现的概率)原创 2024-04-23 20:19:23 · 66 阅读 · 0 评论 -
(done) 机器学习中的方差 variance 和 偏差 bias 怎么理解?
情况1属于:低 bias,高 variance (和 human performance 相近,但和 验证集dev set 相远)情况2属于:高 bias,低 variance (和 human performance 相远,但和 验证集dev set 相近)情况3属于:高 bias,高 variance (和 human performance 相远,但和 验证集dev set 相远)情况3通常意味着,模型已经过拟合了,但还是达不到理想的效果,说明模型选的不合适,得换。通常意味着模型训练轮数太多。原创 2024-03-22 20:59:49 · 342 阅读 · 1 评论 -
(done) ROC曲线 和 AUC值 分别是什么?
TODO: here。原创 2024-03-20 18:59:13 · 151 阅读 · 0 评论 -
pytorch 鲜见操作
对两个 tensor 做逻辑运算,比如 & (与)使用布尔类型张量做索引(也叫掩码)原创 2024-03-19 00:10:10 · 615 阅读 · 0 评论 -
机器学习中,准确率(Accuracy)、精确度(Precision)、召回率(Recall)、F1分数(F1Score) 分别是什么?有啥用?有啥意义?有啥缺陷?
例如,在一个99%的样本属于同一类的数据集中,一个总是预测这个主要类的简单模型也会有99%的准确率,但这并不意味着模型是好的。精确度(Precision)和召回率(Recall)通常被认为是相互对抗的,这种现象在统计学和机器学习中被称为精确度-召回率权衡(Precision-Recall Trade-off)。提高召回率意味着模型努力识别更多的正类样本,包括那些模型不太确定的样本。意义:在所有实际为真的样本中,被我们预测为真的样本的比例。意义:在所有预测为真的样本中,实际为真的样本所占的比例。原创 2024-03-18 23:23:39 · 934 阅读 · 0 评论 -
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and
来源:https://stackoverflow.com/questions/66091226/runtimeerror-expected-all-tensors-to-be-on-the-same-device-but-found-at-least。这是一个 pytorch 中常见的错误,表示训练或者预测过程中,有些张量不在同一个设备上。常见的原因是,模型的输入在 GPU 上,但模型不在 GPU 上。原创 2024-03-18 16:37:55 · 198 阅读 · 0 评论 -
(done) 训练集、验证集、测试集的关联
来源:https://blog.csdn.net/m0_49866160/article/details/136381625。原创 2024-03-16 20:15:35 · 172 阅读 · 0 评论 -
(done 剩个什么 3/4 unigram frequency 的玩意儿没懂) word2vec 算法,计算 嵌入矩阵(CBOW, Skip-gram)随机梯度下降法 SGD 负采样方案
参考视频2:https://www.bilibili.com/video/BV1s64y1P7Qm?参考视频1:https://www.bilibili.com/video/BV1vS4y1N7mo/?单词向量 (word vectors) 也有另一个名字 “词嵌入 (word embeddings)” ,或者叫 “神经单词表示 (neural word representation)”一个基本的思想是,一个单词的意思并不是由这个单词单独给出的,还由它周围的单词一起给出。原创 2024-03-15 16:12:55 · 253 阅读 · 0 评论 -
(done) 什么是词嵌入技术?word embedding ?(这里没有介绍词嵌入算法)(没有提到嵌入矩阵如何得到)
我们可以把 one-hot 编码表示的 高维稀疏向量 -------- 转化 ---------> 低维连续向量。词嵌入(word embedding):把词汇表中的词或短语 -------- 映射 ----> 固定长度向量。3.one-hot编码不具有通用性,而嵌入矩阵是通用的,同一份词向量,可以用在不同的 NLP 任务中。如下图,嵌入矩阵的行,就是语料库(词汇表, vocab) 中词语的个数,矩阵的列是词语的维度。词嵌入向量不仅可以表达语义的相似性,还能通过向量的数学关系描述词语之间的词语关联。原创 2024-03-15 14:45:38 · 546 阅读 · 0 评论 -
(done) NLP 中什么是 embedding 嵌入?
我们先来说,什么叫嵌入(embedding),通俗一点讲,就是把文本的意思嵌入向量里,也就是用向量来表示文本的含义。那又如何把文本转化成向量呢?转化的过程其实就是文本特征提取,要用专业名词就是词嵌入。参考:https://zhuanlan.zhihu.com/p/634237861。原创 2024-03-13 22:23:03 · 96 阅读 · 0 评论 -
(done) 什么是池化?什么是池化层?(有点类似卷积层,但不完全一致) (池化默认是最大池化 Maxpooling)下采样 downsampling
经过诸多学者实验,Maxpooling 几乎在任何情况下都比 Avgpooling 效果要好,所以当我们看到单独一个 pooling 时,基本默认是最大池化 Maxpooling。原创 2024-03-13 20:22:52 · 326 阅读 · 0 评论 -
(done) 单(二元)分类问题和多分类问题的 最后一层 经典激活函数
TODO: here。原创 2024-03-13 19:19:24 · 102 阅读 · 0 评论 -
(done) NLP “bag-of-words“ 方法 (带有二元分类和多元分类两个例子)词袋模型、BoW
以下是 Claude3 的解释,我们慢慢看。原创 2024-03-13 17:44:30 · 706 阅读 · 1 评论