熊伟

假设原始张量xxx的形状信息为[k,l,m,n][k,l,m,n][k,l,m,n],现在noiseshape=[k,1,1,n]noise_shape=[k,1,1,n]noises​hape=[k,1,1,n],xxx的第一个维度和noise_shape的第一个维度是一致的，都为kkk,就是说，原始张量的第一个维度的去留是随机的，但这个随机的“粒度”不再是以元素为单位，而是以这个“维度”为整体...

在模型构建完毕后，下面的工作就是定义损失函数。损失函数的功能在于，衡量实际输出值和预期输出值之间的差异程度，井借此调节网络的参数。 对于多分类问题，最常用的损失函数就是交叉熵函数( Cros-enrorp）那什么是交叉熵呢?说到交叉熵，就不得不提一下“熵”的概念。熵的概念源自热力学。它是系统混乱度的度量，越有序，熵越小。反之，越杂乱无序，熵就越大。 在信息领域，信息论的开创者香农(Claude S...

softmaxsoftmaxsoftmax(软最大值)，势必有与之对应的HardMaxHardMaxHardMax(硬最大值)。hardMaxhardMaxhardMax其实就是我们常用的maxmaxmax函数，假如有三个数：z1,z2,z3z_1,z_2,z_3z1​,z2​,z3​,现在想求这三个数最大值，直接比较就可以，大就是大，小就是小，没有争议。所以叫“硬最大值”，如果不是直接比较数值本...

输入X（60,1000），中间隐藏层的维度分别为：200,100,10 import numpy as np N,D_in,H_1,H_2,D_out=60,1000,200,100,10 x=np.random.randn(N,D_in) #(60,1000) y=np.random.rand(N,D_out)#(60,10) w1=np.random.randn(D_in,H_1)#(100...

之前汇报时看到过词嵌入这部分，这里把自己看到过的总结在这里，尽可能写的全一点。 word2vec( 把词映射为实数域向量的技术也叫做词嵌入（word embedding）) 由来 为什么要引入word2vec：之前都是用one-hot编码表示结点信息，当然也可以用one-hot来表示词。虽然one-hot词向量构造起来很容易，但通常并不是⼀个好选择。⼀个主要的原因是，one-hot词向量⽆法准确...