自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 FastText

FastTextFastText是facebook开源的一个词向量与文本分类工具 ,其最大的优点就是快,同时不失精度。 此算法有两个主要应用场景:文本分类词向量训练FastText原理简介模型简单,其结构有点类似word2vector中的CBOW架构,如下图所示。FastText将句子特征通过一层全连接层映射到向量空间后,直接将词向量平均处理一下,就去做预测。使用了n-gram的特征,使得句子的表达更充分。笔者会在实战中详细介绍这部分的操作。使用 Huffman算法建立用于表征类别的树形

2020-07-06 23:50:25 205

原创 CS22n Lecture 13 Contextual Word Representations and Pretraining

CS22n Lecture 13 Contextual Word Representations and PretrainingReflections on word representationsTips for unknown words with word vectors训练时:词汇表 Vocab 为{ words occurring, say, $\geq$5 times} ⋃\bigcup⋃ {< UNK >}将所有罕⻅的词(数据集中出现次数小于 5)都映射为< UN

2020-07-04 09:58:46 139

原创 CS224n - Subword Model

文章目录CS224n - Subword ModelCharacter-Level ModelsSub-word modelsByte Pair EncodingWordpiece/Sentencepiece modelCharacter-level to build word-levelHybrid NMTFastText embeddingsCS224n - Subword ModelCharacter-Level Models词嵌入可以由字符嵌入组成为未知单词生成嵌入相似的拼写共享相似的

2020-06-30 22:49:40 164

原创 CS224N Word Vectors 2 and Word Senses

文章目录CS224N Word Vectors 2 and Word SensesOptimization: Gradient Descent梯度下滑迭代梯度下滑方法基于统计的词向量Dimensionality Reduction on XHacks to XGlove构建词向量和共现矩阵之间的关系优势评估词向量内在词向量评估CS224N Word Vectors 2 and Word SensesOptimization: Gradient Descent梯度下滑迭代θnew=θold−α∇θJ(

2020-06-27 22:37:22 157

原创 CS224n Note -- Lecture 1: Introduction and Word Vectors

文章目录词向量WordnetWordnet的劣势discrete symbolsRepresenting words by their contextWord2vecWord2vec的目标函数计算Word2vec prediction function梯度优化词向量WordnetWordNet, 一个包含同义词集和上位词的辞典。Wordnet的劣势是很好的资源但忽略了细微的一些差别:例如词典中‘proficient’与‘good’认为是同义词,但是这只在某些文本上下文中成立。忽略了一些单

2020-06-24 13:06:24 145

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除