![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
学机器学习的机械工程师
目前在读研,曾经做过机械工程师,正准备入行数据科学和人工智能领域。写写博客一起交流学习。
展开
-
CS224N-HW1
这里是引用部分参考网上代码,后续更新homework2作业CS224N Assignment 1: Exploring Word Vectors (25 Points)Welcome to CS224n!Before you start, make sure you read the README.txt in the same directory as this notebook.All Import Statements Defined HereNote: Do not add to t.原创 2020-07-06 19:53:43 · 2222 阅读 · 0 评论 -
NLP-task4 EMLO &BERT Models
本文主要介绍ELMO, GPT, BERT三个模型。本文主要根据论文来写原创 2020-07-03 18:56:21 · 227 阅读 · 0 评论 -
NLP-Task3 Subword model
word2vec 和 glove 基本上都是基于word单词作为基本单位的,这种方式虽然能够很好的对词库中每一个词进行向量表示,然而,这种方式容易出现单词不存在于词汇库中的情况,也就是 OOV(out-of-vocabulary),而且对于单词的一些词法上的修饰(morphology)处理的也不是很好。一个自然的想法就是能够利用比word更基本的组成来建立模型,以更好的解决这些问题。本节思考采用 n-gram 思想训练 word vector 模型,也就是 FastText。Character-L..原创 2020-06-30 20:11:14 · 254 阅读 · 0 评论 -
NLP-Task2: Word Vectors and Word Senses
task1的博客讲解了词向量、Word2vec基础知识以及2种基本模型。本篇文章首先对task1的一些补充,后续讲解词向量,并且讲解其优劣,介绍了基于窗口的共现矩阵的方法,引入GloVe。最后介绍了内部和外部词向量评估机制。目录task1 补充Optimization:Gradient DescentStochastic Gradient DesentThe skip-gram model with negative sameplingWord2vec总结task2Windo原创 2020-06-27 20:23:47 · 296 阅读 · 0 评论 -
NLP-introduction and word vectors
目录IntroductionTraditional NLPWord2vec introductionWord vectorsWord2vec:Overview两种经典算法:CBOW (continuous bag of words)skip-gramskip-gram和CBOW的改进Introduction注:由于本人第一次使用博客,对公式编辑还不够好,后续会重新编写公式。Traditional NLP传统的NLP,认为单词是离散特征 (word可以.原创 2020-06-24 20:28:01 · 262 阅读 · 0 评论