![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tensorflow问题
NLP蜗牛
Nlp上的蜗牛
展开
-
tf.nn.log_softmax与tf.nn.softmax的关系
tf.nn.softmax官方连接tf.nn.softmax( logits, axis=None, name=None, dim=None)作用:softmax函数的作用就是归一化。输入: 全连接层(往往是模型的最后一层)的值,一般代码中叫做logits输出: 归一化的值,含义是属于该位置的概率,一般代码叫做probs。例如输入[0.4,0.1,0.2,0.3],那么这个样本最可能属于第0个位置,也就是第0类。这是由于logits的维度大小就设定的是任务的类别,原创 2020-06-19 22:22:57 · 2222 阅读 · 1 评论 -
embedding学习记录2
要搞清楚embeding先要弄明白他和one hot encoding的区别,以及他解决了什么one hot encoding不能解决的问题。One hot representation程序中编码单词的一个方法是one hot encoding。实例:有1000个词汇量。排在第一个位置的代表英语中的冠词"a",那么这个"a"是用[1,0,0,0,0,…],只有第一个位置是1,其余位置都是0的...原创 2020-01-31 20:06:49 · 134 阅读 · 0 评论 -
tf.name_scope()、tf.variable_scope()的学习
遇到TensorFlow变量作用域问题,对**tf.name_scope()、tf.variable_scope()**等进行学习。tf.name_scope()、tf.variable_scope()是两个作用域函数,一般与两个创建(调用)变量的函数tf.variable()和tf.get_variable()搭配使用。主要用于变量共享:1、name_scope和variable_scop...原创 2020-01-31 17:15:01 · 111 阅读 · 0 评论 -
tf.get_variable函数的认识
tf.get_variable(name, shape, initializer): name就是变量的名称,shape是变量的维度,initializer是变量初始化的方式,初始化的方式有以下几种:tf.constant_initializer:常量初始化函数tf.random_normal_initializer:正态分布tf.truncated_normal_initializer:...原创 2020-01-31 16:15:33 · 301 阅读 · 0 评论 -
TF中的Embedding操作
1、什么是embedding简单的说就是将一个特征转换为一个向量。我们经常会遇到一些离散特征,我们一般的做法是将其转换为one-hot,但对于itemid这种离散特征,转换成one-hot之后维度非常高,但里面只有一个是1,其余都为0。这种情况下,我们的通常做法就是将其转换为embedding。embedding的过程是什么样子的呢?它其实就是一层全连接的神经网络,如下图所示:假设一个特征...原创 2020-01-31 15:27:06 · 1009 阅读 · 0 评论 -
Tensorflow七种初始化函数
一、tf.constant_initializer(value)作用:将变量初始化为给定的常量,初始化一切所提供的值。二、tf.zeros_initializer()作用:将变量设置为全0;也可以简写为tf.Zeros()三、tf.ones_initializer()作用:将变量设置为全1;可简写为tf.Ones()四、tf.random_normal_initializer(mean...原创 2020-01-28 20:46:28 · 704 阅读 · 0 评论