家门口的知鸟

IT 互联网技术领域

GCN思考 - 之word2vec的方式直接计算文本分类

优化一: 借鉴GCN的思想,在训练的过程中词和词之间是有一条边(比如同一句子中间隔不超过5的两个词),那么在word2vec中,是由词来预测词,比如CBOW中4个词预测一个中间词,那么在训练中也可以用同样的模型在CBOW预测的时候同时预测一个文章。 这时的huffman code是由词、文章类...

2019-01-12 23:47:24

阅读数 19

评论数 0

word2vec阅读笔记

  1一个输入层 ; 1 个隐含层; 1个输出层   syn0       input -> hidden 的 weights     在code中是一个1维数组,但是应该按照二维数组来理解。                 访问时实际上可以看成  syn0[i, j...

2013-09-12 01:04:31

阅读数 3826

评论数 2

用word2vec 跑搜狗SogouCS语料 - 大小4G | 6.8 亿词长 | 57万词汇

[训练] $ time ./word2vec -train /data/sogou/sohunews_segmented_1line.txt -output /data/sogou/vectors_sohunews.bin -cbow 0 -size 200 -window 5 -negative...

2013-09-06 20:51:12

阅读数 14297

评论数 35

BP网络 - 用2001PKU MCM B题基因检测

为了测试写的BP网络,找出了古董的测试数据, 2001年PKU数学建模竞赛的B题,详细题目数据见(http://mcm.ustc.edu.cn/wangjie/other/pku2001.htm) 刚开始一直没成功,总数不收敛,换了些参数才发觉隐藏层的神经元数目需要很小,有点归约的感觉,配合输出层...

2013-07-30 10:12:17

阅读数 1258

评论数 3

Sigmoid 函数

Sigmoid函数 是S型曲线的意思,为神经元的非线性作用函数。 Sigmoid function Sigmoid函数是一个S型函数. Sigmoid函数的数学公式为 它是常微分方程 的一个解. Sigmoid函数具有如下基本性质: 定义域为值域为, ...

2013-07-19 15:20:57

阅读数 1770

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭