自然语言处理
Xu chuanjie
爱NLP,更爱生活
展开
-
word2ver在tensorflow中实现
下面是word2vec在tensorflow中实现的代码 from __future__ import absolute_import from __future__ import division from __future__ import print_function import collections import re import math import random impor...原创 2019-10-26 22:21:05 · 282 阅读 · 0 评论 -
word2vec
word2vec是什么: 1)word2vec是一种词的表示,类似于one-hot,只不过他将词以固定维数的向量表示出来。每个词都表示成一个n维的向量。 2)Word2vec在对词进行编码时充分利用上下文的信息,每个词不在是只有一个位置是1的稀疏向量。而是一个稠密的固定维度向量。利用上下文信息对词语有一个更深的表达。 Word2vec的实现方式: 1)利用上下文来预测中心词cbow(连续词袋模型)...原创 2019-10-25 20:31:09 · 398 阅读 · 0 评论 -
one-hot编码
one-hot编码: 目的:为了方便计算机进行存储和处理 表示形式:用0和1来表示。由状态位来表示特征,假如我们有四个特征。分别是1,2,3,4.那么我们就需要四个状态位来表示这几个特征 1-[1 0 0 0] 2-[0 1 0 0] 3-[0 0 1 0] 4-[ 0 0 0 1] 这几个行向量分别表示1,2,3,4 one-hot编码就是保证每个样本中的单个特征只有1位处于状态1,其他的都是0...原创 2019-10-24 11:27:19 · 280 阅读 · 0 评论 -
自然语言处理
NLP学习记录 目前研一新生在读,研究方向是自然语言处理,主要处理的是中医文本。刚开始感觉很迷茫不知道该怎么办,想要用博客来记录下我的学习过程,也欢迎更多的同学和大佬们能够给我提出批评和指证。 ...原创 2019-10-24 09:28:01 · 963 阅读 · 0 评论