一：jieba分词和pkuseg分词
原代码文件
链接：https://pan.baidu.com/s/1J8kmTFk8lec5ubfwBaSnLg
提取码：e4nv
目录：
1：分词介绍：
目标：中文句子中的词与词之间加上边界标记，本质是划分词的边界。
英文天然有空格作为分词符合。而对于中文如何让机器智能识别出单词词汇，是文本分析的第一步。
基本分词思想：(1) 由句子到词.(2) 由字到词
具体分词方法：
举例：
如何分词使得这个句子的共现概率最大
2：jieba中文分词
分词原理：HMM（隐马尔可夫模型）
（如何设置分词符号，使得句子的共线概率最大）
3：实践：分词
import jieba
import pkuseg
text = "绿子在电话的另一头久久默然不语，如同全世界的细雨落在全世界所有的草坪上一般的沉默在持续。"
seg_list = jieba.cut(text, cut_all=False, HMM=True)
print("jieba Cut result is: " + " ".join(seg_list))
seg = pkuseg.pkuseg() # 以默认配置加载模型
text = seg.cut(text) # 进行分词
print("pkuseg Cut result is: " + "/".join(text))
jieba Cut result is: 绿子 在 电话 的 另一头 久久 默然不语 ， 如同 全世界 的 细雨 落 在 全世界 所有 的 草坪 上 一般 的 沉默 在 持续 。
pkuseg Cut result is: 绿子/在/电话/的/另/一头/久久/默然不语/，/如同/全世界/的/细雨/落/在/全世界/所有/的/草坪/上/一般/的/沉默/在/持续/。
二：去除停用词
1：实践：去除停用词
在使用使用jieba或pkuseg分词后，每一个句子被划分为一个个词。但是有些词是没有意义的（无法体现该段文本的
特征），如“在”，“的”，“一些”，标点符号等。因此我们需要去除这些词。这一步骤称为“去除停用词”。
如下是本次实验使用的停用词文件
#获取停用词集合
def get_stopwords():
stopwords = pd.read_csv ("F:\\研一课程\\周水生机器学习中的优化\\LSTM谣言检测\\rummordetection_lstm-main\\rummordetection_lstm-main\\stopwords\\stopwords.txt", index_col=False, sep="\t", quoting=3, names=['stopword'],
encoding='utf-8')
return set(stopwords['stopword'].values.tolist())
def cutsentences(sentences): #定义函数实现分词
print('原句子为：'+ sentences)
cutsentence = jieba.lcut(sentences.strip()) #精确模式
print ('\n'+'分词后：'+ "/ ".join(cutsentence))
stopwords = get_stopwords() # 这里加载停用词的路径
lastsentences = ''
for word in cutsentence: #for循环遍历分词后的每个词语
if word not in stopwords: #判断分词后的词语是否在停用词表内
if word != '\t':
lastsentences += word
lastsentences += "/ "
print('\n'+'去除停用词后：'+ lastsentences)
sentence = '绿子在电话的另一头久久默然不语，如同全世界的细雨落在全世界所有的草坪上一般的沉默在持续。'
cutsentences(sentence)
原句子为：绿子在电话的另一头久久默然不语，如同全世界的细雨落在全世界所有的草坪上一般的沉默在持续。
分词后：绿子/ 在/ 电话/ 的/ 另一头/ 久久/ 默然不语/ ，/ 如同/ 全世界/ 的/ 细雨/ 落/ 在/ 全世界/ 所有/ 的/ 草坪/ 上/ 一般/ 的/ 沉默/ 在/ 持续/ 。
去除停用词后：绿子/ 电话/ 另一头/ 久久/ 默然不语/ 全世界/ 细雨/ 落/ 全世界/ 草坪/ 沉默/ 持续/
附：查看停用词文件
stopwords = get_stopwords() # 这里加载停用词的路径
print(type(stopwords))
stopwords_=list(stopwords) #set是集合，无序，查看元素只能遍历所有打印出来，转为list.
print(stopwords_[1:20])
<class 'set'>
['个别', '.', '—', '乘势', '互相', '以前', '为什么', 'somewhere', 'keep', '一', '■', '对待', "i'll", '此次', '作为', '据此', '｝＞', '对比', '成年']
print(stopwords)
{nan, '个别', '.', '—', '乘势', '互相', '以前', '为什么', 'somewhere', 'keep', '一', '■', '对待', "i'll", '此次', '作为', '据此', '｝＞', '对比', '成年', '殆', 'thanks', '＿', '傥然', '10', 'his', '-', '照着', '这些', '具体来说', '－［＊］－', '|', '知道', '立刻', '恍然', 'usually', '借此', 'more', '不过', '这麽', '岂止', '＝［', 'possible', 'off', 'probably', 'took', '一转眼', 'value', '致', '咱们', 'ｂ］', '（', '!', '人', '除却', '允许', '100', '哼唷', '切勿', '咋', '见', '4', '89', '当前', '这么样', '左右', '庶乎', '接著', '第二大节', '结果', 'now', 'neither', '第五大道', '共同', '看起来', '⑧', 'says', '不拘', 'specify', '紧接着', '光', '我的', '冲', 'nor', 'on', '三番五次', '起见', '关于', '第二类', 'cannot', 'nine', '莫如', 'seemed', '奈', 'outside', '而又', '不会', '如若', '自从', '由于', '2016', 'twice', '有效', '91', '或许', 'hereafter', '93', '相等', '意思', '第五集', '53', '打', '争取', '当中', 'that', '」', '仅仅', '之前', "it'd", 'say', '@', 'seeming', '更有趣', '05', '取得', '除此以外', '吓', 'ｅ］', '不一', 'once', '虽则', '向使', '来看', '敢情', '９', 'there', '其', '上午', '行动', 'seven', "you've", 'used', '下面', '大事', 'seeing', '很', '49', '暗地里', '从此以后', '也好', '尽管', 'indicated', '且说', '长此下去', '有一期', 'toward', '不曾', 'said', '70', '到处', 'per', '存心', '那末', '人人', '元／吨', 'indicates', '与其说', '勃然', '第二讲', '从此', 'believe', '吱', "there's", '当下', '赶早不赶晚', '平素', 'thereafter', '过来', 'go', '不问', '.一', '是否', 'our', '来不及', '秒', 'relatively', '哪边', '又笑', 'like', '要', 'far', 'seems', '往', '相当', '随后', '倒是', '反之亦然', '72', '倘', '看', '具有', 'follows', '一边', 'anybody', '如今', '第四者', '54', 'us', '②ｃ', '第二盘', '可以', 'ones', '那么些', '适当', '怪', '有及', '一番', '奋勇', 'only', '是的', '来讲', '65', '新华社', '嗡嗡', '某', '别处', '≈', 'these', '极其', '处在', '和', '啪达', 'consequently', '仍然', '啊哟', '犹且', '极大', '绝顶', '第三件', '高兴', '遵照', 'into', '到头来', 'considering', '宁可', '简直', '长话短说', 'them', '正是', '我们', '上', '不但', '设使', '那时', '不限', '每每', '叫做', '如其', '几度', '自打', '总是', '不大', '之所以', '乌乎', '怎奈', '越是', 'specified', '大概', 'regards', 'four', 'becoming', '漫说', '不胜', '贼死', '尽如人意', '“', '别说', './', 'zt', '遵循', '以期', '大体', '；', '上去--', 'alone', '弗', 'towards', '。', '～＋', '不惟', 'soon', '不下', '对', '〕〔', '谁知', 'co', '如是', '自后', '继后', '敢于', '非得', '第十六', 'below', '如常', '里面', '0', '便', '后面', '总之', '构成', '该', 'someone', '假若', 'ever', 'getting', '如果', '沙沙', '二', '余外', 'nd', '【', '偏偏', '常言说', '罢了', '41', 'ltd', '第五课', 'few', '依照', '′｜', '42', '当然', '不止一次', '第二任', '及时', '冒', '替', '或则', '就是', '果真', '不仅...而且', '具体地说', '丰富', '而', '光是', 'seem', '时', 'have', 'hence', 'hereupon', '大张旗鼓', '起来', '因而', 'tries', 'nobody', '从来', '许多', '带', 'against', '使用', 'both', 'who', '3', 'away', '女子', 'contains', 'together', '＋', '非但', '了', '说来', '92', 'available', '第三站', '就是了', '并没', '〕', '第五位', 'above', '差一点', '伙同', '既', '倘使', '／', '既往', '咱', '上下', '但凡', '乃至', '人们', 'merely', '即刻', '六', '等', '默默地', 'ｃ］', '并', 'without', '86', '出', '而论', 'exactly', '反过来说', '＞λ', '全力', '81', 'then', '按时', 'besides', 'was', 'about', '巴', '彼此', '联袂', '第十九', '嘿', 'old', '与否', '部分', '26', '并肩', '36', '三天两头', "didn't", '八成', '③', '按', '↑', '６', '77', "you'd", '22', '为主', '４', '当头', '还是', '单纯', '始而', '喏', '58', "doesn't", 'normally', '分期', 'across', 'know', "wasn't", '则', '44', '哉', 'any', "t's", '实现', 'everywhere', '不止', '他们', '必将', '诚如', '非特', 'sure', '47', '总的来说', '不特', '似的', '顺着', '一切', '一来', '顷刻', '呃', "we'd", '他是', '［］', '必须', '以至于', 'zero', '各人', '同时', "won't", 'saying', '正确', '亲自', '不怕', 'near', 'thanx', '非独', 'un', '第十次', '随着', '顷', 'does', '谁料', '〉', '6', '若夫', '四', '进行', "isn't", '最后一关', '替代', '宁肯', '应该', '达到', 'whatever', '［－', '[', '何苦', 'still', '已', '自己', '沿', '要是', '而已', '重新', 'my', '从今以后', '根本', '多少钱', '大面儿上', '叫', '防止', '谨', '从古至今', 'until', '以来', '掌握', '具体', '若是', 'six', '企图', '借以', 'qv', '鄙人', '43', '今後', '敢', 'be', 'described', 'very', '去', '看来', '而况', '难说', '每年', '３', '啷当', "c's", "we've", '不得不', 'gone', 'should', '得天独厚', '这样', '特别是', '表示', '即便', '如此等等', 'the', '种', '至于', '〔', '倘或', '第三单元', '兼之', 'ought', '第四张', '以及', '而是', '快', '2014', '猛然间', '二来', '一起', 'likely', '换言之', '待到', '第三句', ':', '全年', 'sub', '对于', '采取', '只有', '下去', '~', '别人', "weren't", '截至', '尽量', '呼哧', '于是乎', 'yourself', '挨家挨户', '活', 'hardly', '啐', '74', '〈', '′∈', '故此', '她', '满足', '全部', '52', '不定', 'later', '并非', '多么', '切切', '再说', '第二波', '了解', '所在', '除', 'whereas', 'hello', '然后', '按期', '第十集', '乃', '那麽', '有的', '］∧′＝［', '有一部', '如前所述', '呀', '>', 'himself', '任何', '此外', '最近', '经常', '若果', '屡屡', '规定', 'further', '>>', '率尔', '忽然', '全体', '充分', '安全', 'might', 'nothing', '几时', 'being', '甚而', 'ok', '这儿', '开展', '什麽', '宁', '这种', '存在', '自身', '我', '不对', '~~~~', '别是', '随著', 'corresponding', '吧哒', '牢牢', '是什么', '第三期', '每', '一何', '85', '另行', '不但...而且', '唉', '以下', 'your', '精光', '即若', '极度', '第十一个', '已矣', 'everything', '１', 'little', '猛然', 'everyone', '共', '如何', '相信', '③］', '老大', 'oh', '难怪', 'downwards', '本身', '吧', '几乎', 'Ⅲ', '重要', '边', 'me', 'thoroughly', '较为', '＝', '迟早', '多年来', '过于', '抑或', '彼时', 'rather', '任凭', '合理', '固然', '从优', '一.', '55', "we're", '相同', '趁势', '马上', '处理', '累次', '』', '不变', '可见', '当着', '甚或', '不择手段', 'associated', '看出', '极为', ']', '＆', '鉴于', '9', '反之', '再则', 'behind', '特点', 'get', '怎样', '第十天', 'γ', '毫不', '尔等', '再有', '後来', 'did', '即如', '可能', 'anything', '敞开儿', '零', '最后一遍', '略微', 'ex', '｜', 'theirs', '}', 'no', '它们', '＊', '71', '组成', '非常', '？', '更有意义', '又又', '40', '──', '＠', '末##末', '最后', '之一', '④', '基本', '最後', 'via', '岂', '·', 'somebody', '不光', 'within', '多数', '如上', 'just', 'perhaps', '不仅仅', '仍', 'which', '何止', '别', '这', '诚然', '遇到', '地', '间或', 'que', '能否', '分期分批', '那个', '成为', '趁', '14', '立', '现在', '切', '是以', 'vs', '有一根', 'entirely', '俺们', '正常', "who's", '：', '召开', '什么意思', '向', '有一百', '⑦', '难道说', '欤', '范围', '或多或少', '97', '75', 'beyond', '哪怕', '98', '呜', '恐怕', '受到', '风雨无阻', 'enough', '竟', 'ZT', '即或', "i'm", '确定', '老', 'ＺＸＦＩＴＬ', 'unfortunately', '第二首', 'least', '15', 'up', '其二', '莫不', '集中', '咳', '各个', '九', '大凡', '第三册', '连日', 'uses', '只消', '据悉', '最好', 'less', '喀', '不得已', 'most', 'some', '从古到今', '联系', 'since', '归根到底', 'going', '亦', '这般', '但', '并不', 'already', '更远的', '它', '尔后', 'ours', '将要', '认识', '否则', '据我所知', '明显', 'here', 'to', 'non', '千', '即将', '按照', 'somewhat', 'from', '川流不息', 'has', '不怎么', '乃至于', 'unlikely', '绝不', 'self', '能', '或曰', '有些', '自各儿', '全面', '广大', '接连不断', '们', '汝', 'anyone', "we'll", 'new', '出现', '其次', 'but', '×', '何妨', '再次', 'way', 'given', 'again', '诸如', '⑤', '后来', '上升', '差不多', '由此可见', '不同', '嘎', '全都', 'whom', '个', '日', '01', '大体上', "haven't", '第四代', '恰恰相反', 'do', '03', '27', '偶尔', '又一遍', '一片', '由此', '这就是说', '当', '有利', '之后', 'right', 'much', '挨个', '要么', 'wherein', '下来', 'В', '不已', '又', 'five', 'exp', '79', 'her', '十分', '得到', '权时', '看样子', '［', '进而', 'thereupon', '各级', '让', '好象', '上述', '臭', '有问题吗', '://', '如同', '由是', '为', '进入', '又喜欢', 'other', '将才', '倍加', '她是', '彼', '近几年来', '说明', "they'd", 'obviously', '第二十', '31', 'take', '从未', '唯有', 'during', '不得了', '更为', '亲口', '专门', "i'd", '当场', 'happens', '－β', '最后一科', '后', '如上所述', 'an', "you'll", 'please', '看见', '砰', '故意', '日见', '其余', '某些', '各', '譬喻', '人民', 'edu', '喽', 'secondly', 'mostly', '挨门挨户', 'useful', '分', '04', '乘胜', '所幸', '临到', '以至', 'gotten', 'themselves', "that's", 'indeed', '为止', '单单', '迫于', '从速', 'than', '总的说来', '充其极', 'kept', '接下来', '顶多', '随时', '第四版', '前面', '多年前', '尽心尽力', '而且', '那里', '二话不说', 'over', '几', '做到', '待', '蛮', '以上', '财新网', '莫若', 'also', '论', '正在', 'comes', 'cause', '其它', '不满', '基本上', 'com', '莫非', 'meanwhile', 'plus', 'tried', '出去', '此中', '但愿', '後面', 'must', "hadn't", '比', '毫无', '来说', '最后一页', '$', '真正', '定', '完全', '目前', 'such', 'before', '这么些', '局外', '交口', "it's", '有一堆', 'various', '正巧', 'whose', '记者', '心里', '固', '45', '有一群', '11', '起先', 'cant', '不是', '有一片', '因', '彻底', '诸', '似乎', '像', '普遍', '原来', '俺', '\\', '不论', '要求', '因着', '×××', 'ourselves', '较比', '好的', '后者', '/', 'tends', '｛', '坚决', '℃', '从严', '结合', '你们', '哪', '概', '83', '几经', 'inasmuch', '略', '强烈', '多多', '怕', '八', 'because', '打从', 'each', 'at', '拿', '嘿嘿', '过', 'reasonably', '第十八', '当儿', '需要', '除外', '毋宁', '尽早', '首先', '59', '立地', '中间', '啊呀', 'thank', '然则', '连声', 'ie', '这点', '或是', '5', '⑨', '凭', '＜φ', '显然', '哇', '第三卷', '这么点儿', '%', '缕缕', '那些', '屡次', '挨次', '强调', '加强', '附近', '32', '是不是', '！', '反之则', '０', 'anyway', '极', '有所', 'particular', '据称', '28', 'truly', "can't", '继之', 'inner', '那儿', '61', '亲手', '一直', '够瞧的', '方才', '适用', '那', '白', 'selves', '至', 'so', '凡是', 'certain', '等到', 'throughout', '比起', '总而言之', '的确', '同', '究竟', '却', 'let', '呆呆地', '皆可', 'whoever', '数/', 'need', '难道', '动不动', '任', '日益', '赶快', 'same', ';', '快要', 'maybe', '颇', '亲眼', '每天', 'really', '37', '嗬', '至若', '76', '以致', '甚至于', '由由', '87', '＝（', '白白', '拦腰', 'keeps', '逢', 'best', '背地里', '前进', '更有效', '不妨', '为何', '可是', '→', '坚持', '转贴', 'course', 'moreover', 'actually', '第十名', '哪里', '不然', '主张', '竟而', 'one', 'although', '些', '归根结底', 'following', '不如', '有力', '另一方面', '最大', '据', '初', '｛－', '每逢', '嘎登', '较', 'look', '跟', '不可抗拒', '格外', '第四单元', '’', "hasn't", '达旦', '应用', '直接', '啦', '也就是说', '当庭', '35', '以后', '出于', '有一方', '到', '从而', '绝', 'beforehand', '就地', "let's", '第三产业', '与此同时', '省得', '次第', '19', 'therein', '很多', '比方', '各式', 'theres', '使得', '一则通过', '第五卷', '累年', 'whenever', 'out', '就算', '趁早', '哦', '突出', 'well', '类如', '今', '＜±', 're', '什么样', 'third', '更加', '多多少少', '动辄', '抽冷子', '少数', '２', 'inc', '切不可', '继而', 'accordingly', '嗡', '尽', 'what', '从无到有', '乘隙', '＝－', '觉得', '他', '立马', '据实', '73', '将', '怪不得', 'gives', '乘', '到了儿', '简言之', '一时', '问题', '针对', 'appreciate', '各自', '既然', '［＊］', '－－', '深入', '腾', '归', '先後', '我是', 'even', '…………………………………………………③', '矣哉', '一下', '就是说', '必要', '第三类', '前此', '严格', '已经', '哈哈', '密切', '举行', '怎么办', '加入', "aren't", '不单', '向着', 'always', '2015', '以免', '啊', "they're", ' ]', '怎', '尽然', '认真', 'wish', '很少', "couldn't", '＜Δ', 'except', '她们', '::', '第二把', '必然', '率然', '理该', '8', '不尽', '历', '较之', '莫', 'itself', 'immediate', '＋ξ', '者', '隔日', 'by', '＜λ', '从重', '本着', 'onto', 'had', "c'mon", '充其量', '岂非', 'certainly', 'hi', '每时每刻', '矣乎', '纯', '之', '常', '乘机', 'sent', '得出', '是', '各种', '往往', '其中', 'noone', '今后', '同一', '94', '个人', '39', '￥', 'under', '人家', '不外乎', '扑通', '战斗', 'able', '即令', '归齐', 'liked', '偶而', '将近', 'looks', 'came', '进去', '比及', '而后', '第四位', '直到', '穷年累月', '按说', '当时', '与', '说说', '33', '甫', '第十四', '二话没说', 'come', '除此', 'sup', '比如说', '要不然', '57', '按理', 'thence', '什么时候', '有问题么', 'ｆ］', '尔尔', '以', 'hereby', 'necessary', '例如', '岂但', 'according', '如次', '即', '高低', '对方', '吗', '依靠', '－', '严重', '自个儿', '各地', '逐步', '考虑', '第二集', '有', '上面', 'sometimes', '怎麽', '大多数', '那么样', 'goes', '它是', '另方面', 'is', '不免', '绝对', '屡次三番', '顿时', '略加', '呢', '长期以来', '又一城', '必定', '不敢', '形成', '06', '嘛', '＝″', '成年累月', '您们', '第三大', '尽可能', 'another', '设或', '连同', 'φ', '朝着', '犹自', 'latterly', '加以', '不足', 'or', '有效地', '老老实实', 'welcome', "wouldn't", '大抵', '表明', '90', '甚么', '第二关', '距', '大都', '78', '有点', '正值', 'she', '今天', '哪个', '不够', 'currently', '，', '此', '多', 'yet', '近来', '24', '默然', '突然', 'hers', '同样', "a's", '．', '&', '每个', '窃', 'am', '大', 'else', 'with', '话说', '最', '自', '遭到', '也', '或', 'taken', '０：２', '相对', '召唤', '12', '第二项', '另一个', '50', '才', '尽心竭力', '纵', '⑩', '一样', '相似', 'known', 'thats', 'definitely', '不', ',', '扩大', '介于', '第五部', 'ａ］', '的士高', '反而', '13', 'awfully', '另外', '及至', '＋＋', '不仅仅是', '要不', '便于', '谁人', '她的', ')', '主要', '趁机', '63', '20', '38', '《', 'former', 'φ．', '且', '总的来看', '都', '它们的', '在', '而言', '略为', '注意', 'trying', '第二声', '来', '论说', 'eg', 'different', 'mainly', '第四集', '多亏', '最后一派', '▲', 'whither', '恰逢', 'having', '限制', '来得及', '积极', 'tell', 'ZZ', '此间', '容易', '倘若', '呸', '第四期', '它的', "they'll", '赶', '趁便', '除了', '’‘', 'shall', '近年来', 'looking', 'when', '有一批', '＝☆', '56', '哪天', '三', '_', '忽地', '这会儿', '宁愿', '沿着', '所以', 'causes', '叮当', '嘘', 'instead', '及', '只是', '下列', '尤其', '纵然', '前者', 'ｎｇ昉', 'furthermore', '相应', '纯粹', 'went', 'yourselves', '为着', '内', 'been', 'this', '虽', '..', 'concerning', '一次', 'would', '此后', '第四届', '特殊', '只限', '于是', 'own', '再其次', '第三行', '㈧', 'formerly', '背靠背', "ain't", '有一对', 'two', '起', '打开天窗说亮话', '时候', '顺', 'three', '毕竟', 'anyways', '不能', '恰似', 'name', '60', '比照', 'think', '届时', '常常', '极端', '互', '反应', '七', '...', '嘻', '》），', '望', '除此之外', '凝神', '极了', '30', '）', '］', "he's", '获得', '无论', '<', '就要', '完成', '＝｛', '如', '嘎嘎', '方便', '第五期', '又一村', '奇', '与其', '出来', '其实', '根据', '这一来', '从不', 'Ａ', '凡', 'second', '趁着', 'respectively', '是什么意思', '然而', '分头', 'several', '不必', '决定', '藉以', 'otherwise', '普通', 'knows', '②', '+', '第十届', '今年', '一致', '嗳', 'sensible', '咦', '并且', '先后', 'provides', '其他', '赖以', '第二行', "it'll", '不由得', 'wherever', '这个', '不管', '起首', '起初', '＜＜', '从头', '哈', '基于', '迅速', '呕', '不得', '齐', 'sorry', '＜', 'we', '最高', 'many', '不断', '没有', '）÷（１－', '当地', '有时', '凑巧', '倒不如', '有笑', 'yours', 'will', '此时', '就此', '看到', '一旦', '１．', '①', '巨大', 'eight', '连', '……', '前后', '96', '不能不', '且不说', 'him', '变成', '趁热', '只怕', '当即', '7', '没', '46', '故', '上去', '纵令', '从新', '焉', 'as', '上来', '一则', 'presumably', 'you', '除开', '地三鲜', '不迭', '％', '己', '比如', '=', '愤然', '能够', '当真', '分别', '逐渐', 'never', '被', '）、', '所谓', '大力', '不久', '就', '５', '年复一年', '断然', '碰巧', '当口儿', '综上所述', '，也', '过去', '用来', '恰如', '伟大', '难得', '｝', '产生', '即使', '方能', '那会儿', '如此', '——', '第三日', '着呢', 'μ', '居然', '来着', '第三层', '造成', '得', '在于', '再', '得起', '然後', '大不了', 'want', '莫不然', '的话', '饱', '有没有', 'whereupon', 'yes', '恰好', '欢迎', '之後', '哎', '立即', '刚', 'indicate', '嗯', '”，', 'became', '第二款', 'upon', '95', 'appear', '您', '愿意', '＄', '第四种', '有着', '有一起', 'quite', '———', '顷刻之间', 'its', '现代', '到底', '哎呀', 'regarding', 'Lex', '这边', '62', '不只', '适应', 'appropriate', '移动', '有关', '不力', '把', '何以', '08', '不尽然', "what's", '连日来', '小', '绝非', 'whole', '中小', '宣布', '借', '下', '谁', 'namely', 'clearly', '曾', '倒不如说', '会', '68', '月', '从早到晚', 'those', 'novel', '某个', '毫无保留地', '几番', '凭借', '大约', '取道', '不然的话', '大略', '29', '串行', '反倒', '兮', 'greetings', 'Δ', '不起', '啥', '有的是', '练习', '仅', '决不', '不外', '既是', 'lately', '自家', '︿', '云尔', '若非', '并没有', '切莫', '独', '依据', '哎哟', 'elsewhere', '从轻', '然', 'got', '成心', 'especially', '一方面', 'Ｒ．Ｌ．', 'et', 'contain', '喔唷', '三番两次', 'their', 'he', '保持', '常言道', '此处', 'however', '设若', '你是', '第', '于', '保管', '除去', '果然', 'hither', '策略地', '恰恰', '非徒', '一天', '不仅', '没奈何', '\u3000', '您是', 'herein', 'become', '不成', '以为', '公然', '据说', 'through', '第十一', '这么', '临', '属于', '转动', '总结', '具体说来', 'last', 'willing', '多次', '不要', "you're", '?', 'insofar', '(', '假使', 'allows', '呜呼', '并排', '纵使', '不亦乐乎', 'between', '经', '哩', '”', 'afterwards', "here's", '因为', '从小', '尔', '不料', '该当', '换句话说', 'help', '倘然', '么', '彻夜', 'either', '最后一题', '呵呵', '＃', '５：０', '82', '共总', '隔夜', 'zz', '48', 'whence', '显著', '第五元素', '则甚', '呵', '连袂', 'unto', '一面', 'everybody', '09', '请勿', 'hopefully', '近', '矣', 'sometime', '一定', '所有', 'whether', '倍感', '又为什么', '`', 'ask', '反手', '还要', 'something', '对应', '反映', '69', '千万千万', '眨眼', 'nowhere', '不比', 'seen', '因了', 'in', '任务', '叮咚', '通过', 'could', '其一', '半', '哪年', '认为', '长线', '...................', '又及', 'whereafter', '进来', '最后一集', '⑥', '何时', '大多', '大批', '甭', 'better', '运用', 'somehow', '更重要的是', '管', 'followed', '依', '急匆匆', 'see', '这时', 'containing', '暗自', ' [', '广泛', '在下', '为此', '反倒是', 'all', '转变', '何必', '却不', '云云', '］［', '儿', 'allow', 'seriously', "shouldn't", '恰巧', '本', '真是', '起头', '８', '第三回', 'becomes', '2', '弹指之间', 'after', '哼', '路经', '慢说', '他人', '日臻', '＞', 'ignored', 'forth', '万一', '02', '何须', 'herself', '但是', '周围', '得了', '25', '甚且', '乎', 'thus', '的', 'latter', '不知不觉', '帮助', '其后', '呼啦', '故而', '大大', 'okay', '加上', '一一', '均', 'consider', '失去', '第三课', '66', '轰然', '开始', 'amongst', 'serious', '并不是', '^', 'of', '乘虚', '】', '第三声', '至今', '第二单元', 'they', '简而言之', '立时', '般的', 'and', 'therefore', '随', '最后一颗子弹', '你', '84', '有一道', 'though', '必', '朝', '以故', '全然', '处处', '常言说得好', '维持', '呗', 'viz', '瑟瑟', '『', '所', '清楚', 'thereby', "they've", '最后一班', 'lest', 'aside', '接着', 'fifth', '看上去', '不独', '反过来', '咧', '昂然', 'where', "i've", '孰知', '1', 'despite', '07', '大举', '第二', 'how', '粗', 'thru', '各位', '加之', '只要', 'every', '巴巴', 'etc', '第三遍', '譬如', '好', '单', '使', 'use', '梆', '此地', '除此而外', '99', '从事', '不至于', '～', '陡然', 'rd', 'for', '双方', 'it', '或者', '诸位', '可', 'were', '挨门逐户', 'done', '为什麽', 'doing', '可好', '何况', 'gets', '有意的', 'none', '哪样', '古来', '还有', '第三集', '好在', '全身心', '怎么', '》', '再者', '方面', 'are', '64', '决非', '极力', '男子', '无宁', '数', '不了', 'beside', '＇', 'specifying', '一个', '第三张', '照', '从', '要不是', '刚巧', '又小', '正如', '再者说', '本人', '尽快', '只当', '不少', '如期', '16', '本地', '那样', '这里', 'if', '匆匆', '有一会了', '整个', 'others', '他的', '迄', '不日', '也罢', '18', '满', '何尝', '不若', '67', 'regardless', '喂', 'almost', 'example', '34', '截然', '第十三', '千万', '即是说', '"', 'th', '因此', '由', '别的', '也是', '年', '多多益善', '理应', '为了', '２．３％', '传说', '１２％', '到头', '那边', '多少', '以外', '别管', '不可', '独自', 'unless', 'try', '//', '保险', '刚才', 'wants', '仍旧', '无法', '旁人', '有喜欢', '曾经', "'", '乒', '哪儿', 'among', '第四套', '更进一步', '行为', 'may', '哗', '、', '庶几', 'wonder', '引起', '用', '一些', '咚', '大致', '那般', '尚且', '最后一眼', '开外', '既...又', '这次', '社会主义', 'saw', 'nearly', '*', '理当', '......', '第五组', '只', '继续', '离', '实际', 'asking', '每当', '如下', '何', '给', '７', '一般', 'next', '什么', '下午', '亲身', '并无', '消息', '两者', 'mean', '豁然', '不管怎样', '尽管如此', '方', '更有甚者', '呐', '21', '避免', '23', '第四场', '毫无例外', '代替', '到目前为止', '…', '何处', '五', '另悉', '还', 'nevertheless', '‘', 'often', 'whereby', 'apart', '51', 'why', '明确', 'inward', 'myself', '以便', '另', '第五年', '某某', '相反', '更', '举凡', 'ＬＩ', '促进', '哟', '陈年', 'using', '孰料', '从中', '况且', '虽然', '屡', 'anyhow', '#', '日复一日', '良好', '有著', '啊哈', '第四声', '怎么样', 'while', '暗中', '先生', '第五单元', '那么', '经过', 'Ψ', '惟其', '相对而言', '不可开交', '大量', '老是', '不再', '日渐', '若', 'placed', '等等', '重大', '何乐而不为', '假如', '准备', "don't", '∈［', 'too', '∪φ∈', '连连', '不时', '无', '不消', '着', 'along', '17', '姑且', '哗啦', 'anywhere', 'A', '而外', '通常', 'changes', '刚好', '复杂', 'not', '大家', 'howbeit', '除非', '不经意', '从宽', '不常', '先不先', '传闻', 'overall', '比较', 'needs', '第三篇', '以後', '哪些', '放量', "where's", '第三项', '之类', '竟然', 'down', '甚至', '进步', '看看', '顷刻间', '来自', '传', 'first', '第四年', '虽说', 'brief', '～±', 'particularly', 'can', 'around', '你的', '阿', '应当', '才能', 'thorough', '错误', '挨着', '不巧', '巩固', '惯常', '第四册', '靠', '及其', '88', '--', '80', '第十二'}
三：通过gensim，加载预训练词向量，获取embedding_matrix
1:加载词向量
https://www.cnblogs.com/bill-h/p/14655224.html
使用下载好的训练好的词向量模型——/embeddings/sgns.weibo.bigram.bz2，
下载地址：https://pan.baidu.com/s/11PWBcvruXEDvKf2TiIXntg
from gensim.models import KeyedVectors
#读取词向量模型
def get_word2vec():
word2vec=KeyedVectors.load_word2vec_format("F:\\研一课程\\周水生机器学习中的优化\\LSTM谣言检测\\rummordetection_lstm-main\\rummordetection_lstm-main\\embeddings\\sgns.weibo.bigram.bz2",binary=False,unicode_errors="ignore")
#读取词向量文件sgns.weibo.bigram.bz2，使用越频繁的词就会越靠前。
return word2vec
word2vec=get_word2vec()
# 获取“词-索引”字典
word2vec.key_to_index
{'，': 0,
'的': 1,
'。': 2,
'@': 3,
'！': 4,
'了': 5,
'、': 6,
'：': 7,
'是': 8,
'一': 9,
'有': 10,
'】': 11,
'？': 12,
'在': 13,
'我': 14,
'你': 15,
'和': 16,
'个': 17,
'�': 18,
'不': 19,
'人': 20,
'“': 21,
'一个': 22,
'就': 23,
'都': 24,
'也': 25,
'我们': 26,
'要': 27,
'#': 28,
'好': 29,
'”': 30,
'啊': 31,
'这': 32,
'去': 33,
',': 34,
'；': 35,
'很': 36,
'月': 37,
'还': 38,
'.': 39,
'1': 40,
'微博': 41,
'》': 42,
'上': 43,
'会': 44,
'说': 45,
'《': 46,
'~': 47,
'年': 48,
'吧': 49,
'小': 50,
'大': 51,
'天': 52,
'能': 53,
'-': 54,
'吃': 55,
'来': 56,
'自己': 57,
'让': 58,
'可以': 59,
'给': 60,
':': 61,
'到': 62,
'看': 63,
'就是': 64,
'最': 65,
'（': 66,
'为': 67,
'中国': 68,
'多': 69,
'与': 70,
'中': 71,
'北京': 72,
'这个': 73,
'[': 74,
'爱': 75,
'他': 76,
']': 77,
'做': 78,
'日': 79,
'【': 80,
'把': 81,
'想': 82,
'又': 83,
'没有': 84,
'2': 85,
'什么': 86,
'大家': 87,
'旅游': 88,
'被': 89,
'对': 90,
'吗': 91,
'过': 92,
'不是': 93,
'将': 94,
'之': 95,
'。。。': 96,
'）': 97,
'呢': 98,
'3': 99,
'等': 100,
'着': 101,
'啦': 102,
'里': 103,
'酒店': 104,
'点': 105,
'太': 106,
'没': 107,
'但': 108,
'用': 109,
'今天': 110,
'两': 111,
'哦': 112,
'还是': 113,
'第': 114,
'……': 115,
'而': 116,
'三': 117,
'――': 118,
'次': 119,
'喜欢': 120,
'分享': 121,
'从': 122,
'后': 123,
'知道': 124,
'5': 125,
'种': 126,
'那': 127,
'得': 128,
'4': 129,
'一起': 130,
'这样': 131,
'��': 132,
'下': 133,
'您': 134,
'活动': 135,
'?': 136,
'(': 137,
'们': 138,
'你们': 139,
'现在': 140,
'生活': 141,
'时候': 142,
'请': 143,
'才': 144,
'时': 145,
'再': 146,
'世界': 147,
'更': 148,
'她': 149,
'地': 150,
'～': 151,
'开始': 152,
'第一': 153,
'10': 154,
'!': 155,
'还有': 156,
'可': 157,
'这里': 158,
'几': 159,
'它': 160,
'美食': 161,
'看到': 162,
'//': 163,
'已经': 164,
'因为': 165,
'时间': 166,
'这么': 167,
'6': 168,
'朋友': 169,
'如果': 170,
'只': 171,
'不要': 172,
'他们': 173,
'美': 174,
'谁': 175,
'很多': 176,
'7': 177,
'以': 178,
'...': 179,
'家': 180,
'转发': 181,
'张': 182,
'_': 183,
'关注': 184,
'元': 185,
'…': 186,
')': 187,
'8': 188,
'支持': 189,
'一下': 190,
'希望': 191,
'像': 192,
'怎么': 193,
'"': 194,
'需要': 195,
'走': 196,
'不能': 197,
'一定': 198,
'/': 199,
'上海': 200,
'觉得': 201,
'叫': 202,
'位': 203,
'比': 204,
'于': 205,
'自': 206,
'条': 207,
'老': 208,
'旅行': 209,
'却': 210,
'号': 211,
'店': 212,
'事': 213,
'9': 214,
'那么': 215,
'孩子': 216,
'新': 217,
'快': 218,
'真的': 219,
'体验': 220,
'跟': 221,
'转': 222,
'地方': 223,
'当': 224,
'心': 225,
'＂': 226,
'并': 227,
'感觉': 228,
'推荐': 229,
'或': 230,
'照片': 231,
'找': 232,
'城市': 233,
'四': 234,
'不会': 235,
'幸福': 236,
'十': 237,
'应该': 238,
'哈哈': 239,
'博文': 240,
'~~': 241,
'真': 242,
'小时': 243,
'快乐': 244,
'不错': 245,
'工作': 246,
'呀': 247,
'一直': 248,
'精彩': 249,
'开心': 250,
'及': 251,
'一样': 252,
'手机': 253,
'最后': 254,
'图': 255,
'非常': 256,
'起来': 257,
'问题': 258,
'发现': 259,
'已': 260,
'前': 261,
'2013': 262,
'出': 263,
'名': 264,
'来自': 265,
'老师': 266,
'至': 267,
'所以': 268,
'不过': 269,
'新浪': 270,
'看看': 271,
'12': 272,
'行': 273,
'起': 274,
'香港': 275,
'早安': 276,
'拍': 277,
'如': 278,
'成为': 279,
'只有': 280,
'成': 281,
'30': 282,
'带': 283,
'][': 284,
'各种': 285,
'其实': 286,
'人生': 287,
'发布': 288,
'微': 289,
'带着': 290,
'参加': 291,
'但是': 292,
'么': 293,
'机会': 294,
'文化': 295,
'本': 296,
'送': 297,
'期待': 298,
'+': 299,
'儿': 300,
'第二': 301,
'片': 302,
'开': 303,
'买': 304,
'玩': 305,
'欢迎': 306,
'视频': 307,
'场': 308,
'图片': 309,
'获得': 310,
'美丽': 311,
'餐厅': 312,
'这些': 313,
'东西': 314,
'11': 315,
'感谢': 316,
'晚上': 317,
'正在': 318,
'花': 319,
'网': 320,
'摄影': 321,
'20': 322,
'参与': 323,
'半': 324,
'五': 325,
'那些': 326,
'发': 327,
'刚': 328,
'二': 329,
'七': 330,
'更多': 331,
'所有': 332,
'由': 333,
'只是': 334,
'成功': 335,
'晚': 336,
'明天': 337,
'水': 338,
'可爱': 339,
'中的': 340,
'喝': 341,
'%': 342,
'电影': 343,
'免费': 344,
'15': 345,
'周末': 346,
'听': 347,
'客户端': 348,
'该': 349,
'加': 350,
'每': 351,
'先': 352,
'味道': 353,
'分钟': 354,
'咖啡': 355,
'滴': 356,
'美国': 357,
'位于': 358,
'谢谢': 359,
'国际': 360,
'游': 361,
'梦想': 362,
'真是': 363,
'国家': 364,
'岁': 365,
'--': 366,
'菜': 367,
'那个': 368,
'特别': 369,
'good': 370,
'别人': 371,
'享受': 372,
'长': 373,
'每天': 374,
'为了': 375,
'打': 376,
'有人': 377,
'最好': 378,
'写': 379,
'达人': 380,
'哥': 381,
'女人': 382,
'设计': 383,
'其': 384,
'无': 385,
'服务': 386,
'一些': 387,
'公司': 388,
'故事': 389,
'出来': 390,
'生命': 391,
'台湾': 392,
'内': 393,
'必须': 394,
'官方': 395,
'如何': 396,
'这种': 397,
'创意': 398,
'可能': 399,
'件': 400,
'多少': 401,
'飞': 402,
'日本': 403,
'周': 404,
'别': 405,
'向': 406,
'健康': 407,
'今晚': 408,
'不同': 409,
'音乐': 410,
'事情': 411,
'选择': 412,
'终于': 413,
'一点': 414,
';': 415,
'只要': 416,
'座': 417,
'全': 418,
'风景': 419,
'奥迪': 420,
'站': 421,
'然后': 422,
'如此': 423,
'最大': 424,
'高': 425,
'继续': 426,
'好吃': 427,
'哈哈哈': 428,
'记得': 429,
'香': 430,
'版': 431,
'死': 432,
'总': 433,
'妈妈': 434,
'历史': 435,
'此': 436,
'准备': 437,
'产品': 438,
'哪': 439,
'帮': 440,
'永远': 441,
'―': 442,
'以后': 443,
'景区': 444,
'品牌': 445,
'时尚': 446,
'书': 447,
'路上': 448,
'现场': 449,
'加入': 450,
'刚刚': 451,
'全国': 452,
'问': 453,
'笑': 454,
'男人': 455,
'一切': 456,
'为什么': 457,
'2012': 458,
'阳光': 459,
'爱心': 460,
'子': 461,
'今年': 462,
'重要': 463,
'猫': 464,
'分': 465,
'微信': 466,
'・': 467,
'天下': 468,
'2014': 469,
'有点': 470,
'努力': 471,
'厦门': 472,
'岛': 473,
'哈': 474,
'生': 475,
'粉丝': 476,
'度': 477,
'超级': 478,
'美好': 479,
'王': 480,
'超': 481,
'夜': 482,
'最美': 483,
'各位': 484,
'主题': 485,
'求': 486,
'杯': 487,
'拥有': 488,
'经典': 489,
'车': 490,
'浪漫': 491,
'肉': 492,
'简单': 493,
'节目': 494,
'份': 495,
'A': 496,
'所': 497,
'企业': 498,
'真正': 499,
'红': 500,
'米': 501,
'而是': 502,
'全球': 503,
'三亚': 504,
'国内': 505,
'款': 506,
'吃货': 507,
'之旅': 508,
'虽然': 509,
'拍摄': 510,
'力': 511,
'山': 512,
'粉': 513,
'总是': 514,
'美味': 515,
'亲': 516,
'传统': 517,
'」': 518,
'学习': 519,
'黑': 520,
'以及': 521,
'适合': 522,
'六': 523,
'秀': 524,
'地址': 525,
'是不是': 526,
'管理': 527,
'路': 528,
'~~~': 529,
'未来': 530,
'好看': 531,
'梦': 532,
'之后': 533,
'直接': 534,
'100': 535,
'茶': 536,
'八': 537,
'爱情': 538,
'卫视': 539,
'少': 540,
'市场': 541,
'嘛': 542,
'越': 543,
'提供': 544,
'放': 545,
'穿': 546,
'则': 547,
'时代': 548,
'18': 549,
'间': 550,
'都会': 551,
'成都': 552,
'回家': 553,
'红包': 554,
'篇': 555,
'广州': 556,
'新闻': 557,
'女': 558,
'通过': 559,
'抢': 560,
'同学': 561,
'因': 562,
'酒': 563,
'「': 564,
'人们': 565,
'干': 566,
'才能': 567,
'摄影师': 568,
'回': 569,
'结果': 570,
'值得': 571,
'是否': 572,
'见': 573,
'之一': 574,
'感受': 575,
'进行': 576,
'赞': 577,
'使': 578,
'只能': 579,
'以为': 580,
'漂亮': 581,
'者': 582,
'面': 583,
'自然': 584,
'新鲜': 585,
'神': 586,
'而且': 587,
'发展': 588,
'媒体': 589,
'下午': 590,
'认为': 591,
'挖': 592,
'鱼': 593,
'注意': 594,
'美女': 595,
'游客': 596,
'入': 597,
'作品': 598,
'加油': 599,
'社会': 600,
'同时': 601,
'拿': 602,
'原来': 603,
'道': 604,
'天气': 605,
'容易': 606,
'话': 607,
'22': 608,
'约': 609,
'放入': 610,
'一般': 611,
'得到': 612,
'牛': 613,
'中心': 614,
'完美': 615,
'段': 616,
'手': 617,
'无法': 618,
'每日': 619,
'推出': 620,
'各': 621,
'环境': 622,
'快来': 623,
'锅': 624,
'字': 625,
'可是': 626,
'相信': 627,
'啥': 628,
'50': 629,
'男': 630,
'其中': 631,
'艺术': 632,
'晚安': 633,
'找到': 634,
'好友': 635,
'住': 636,
'目前': 637,
'祝': 638,
'之前': 639,
'雨': 640,
'居然': 641,
'童鞋': 642,
'或者': 643,
'句': 644,
'过去': 645,
'→': 646,
'作为': 647,
'编': 648,
'除了': 649,
'一家': 650,
'群': 651,
'系列': 652,
'温暖': 653,
'食': 654,
'00': 655,
'四川': 656,
'不用': 657,
'不到': 658,
'有些': 659,
'用户': 660,
'完全': 661,
'进入': 662,
'正': 663,
'风': 664,
'信息': 665,
'心情': 666,
'出现': 667,
'使用': 668,
'越来越': 669,
'部': 670,
'内容': 671,
'看着': 672,
'特色': 673,
'挺': 674,
'马上': 675,
'相声': 676,
'最近': 677,
'台': 678,
'升级': 679,
'哪里': 680,
'．': 681,
'营销': 682,
'报名': 683,
'私信': 684,
'即将': 685,
'电话': 686,
'木': 687,
'外': 688,
'杂志': 689,
'绝对': 690,
'坐': 691,
'发生': 692,
'君': 693,
'其他': 694,
'南京': 695,
'演员': 696,
'突然': 697,
'每个': 698,
'飞机': 699,
'声音': 700,
'���': 701,
'吃饭': 702,
'活': 703,
'嘻哈': 704,
'价格': 705,
'建筑': 706,
'卖': 707,
'V': 708,
'互联网': 709,
'泰国': 710,
'决定': 711,
'先生': 712,
'睡': 713,
'这次': 714,
'了解': 715,
'食物': 716,
'好好': 717,
'油': 718,
'靠': 719,
'告诉': 720,
'若': 721,
'名字': 722,
'对于': 723,
'好像': 724,
'法国': 725,
'朋友们': 726,
'坚持': 727,
'口': 728,
'能够': 729,
'学': 730,
'身边': 731,
'方式': 732,
'连': 733,
'带来': 734,
'日子': 735,
'比较': 736,
'太多': 737,
'苹果': 738,
'老板': 739,
'时光': 740,
'里面': 741,
'个人': 742,
'广告': 743,
'任何': 744,
'感动': 745,
'结束': 746,
'回来': 747,
'炒': 748,
'近': 749,
'包': 750,
'人民': 751,
'另': 752,
'早': 753,
'称': 754,
'14': 755,
'曾': 756,
'空间': 757,
'确实': 758,
'俺': 759,
'祝福': 760,
'著名': 761,
'杭州': 762,
'今日': 763,
'人家': 764,
'餐饮': 765,
'更好': 766,
'帮助': 767,
'2011': 768,
'曾经': 769,
'味': 770,
'团队': 771,
'且': 772,
'边': 773,
'韩国': 774,
'改变': 775,
'妈': 776,
'影响': 777,
'最佳': 778,
'19': 779,
'想要': 780,
'届': 781,
'丰富': 782,
'换': 783,
'同': 784,
'价值': 785,
'姐': 786,
'出发': 787,
'下载': 788,
'便': 789,
'赶紧': 790,
'钱': 791,
'16': 792,
'收到': 793,
'主要': 794,
'公里': 795,
'达': 796,
'13': 797,
'必': 798,
'新疆': 799,
'旅': 800,
'正式': 801,
'24': 802,
'建议': 803,
'代表': 804,
'专业': 805,
'寻找': 806,
'不仅': 807,
'些': 808,
'自由': 809,
'80': 810,
'旅游局': 811,
'年前': 812,
'声': 813,
'集团': 814,
'汽车': 815,
'城': 816,
'海': 817,
'网络': 818,
'肯定': 819,
'热': 820,
'新的': 821,
'身体': 822,
'21': 823,
'品': 824,
'即可': 825,
'特': 826,
'温泉': 827,
'计划': 828,
'笑哈哈': 829,
'春节': 830,
'昨天': 831,
'云南': 832,
'遇到': 833,
'25': 834,
'天天': 835,
'首': 836,
'头': 837,
'碗': 838,
'也许': 839,
'项目': 840,
'精神': 841,
'节': 842,
'颗': 843,
'看来': 844,
'好多': 845,
'表示': 846,
'九': 847,
'优惠': 848,
'错过': 849,
'度假': 850,
'深圳': 851,
'期': 852,
'配': 853,
'很好': 854,
'B': 855,
'记者': 856,
'卡': 857,
'天津': 858,
'不想': 859,
'意大利': 860,
'网站': 861,
'恭喜': 862,
'团': 863,
'安全': 864,
'婚礼': 865,
'功能': 866,
'不好': 867,
'火': 868,
'煮': 869,
'型': 870,
'尽': 871,
'当然': 872,
'评论': 873,
'机场': 874,
'雪': 875,
'画': 876,
'变成': 877,
'行业': 878,
'就要': 879,
'政府': 880,
'攻略': 881,
'哟': 882,
'处': 883,
'季': 884,
'据': 885,
'游戏': 886,
'还要': 887,
'讲': 888,
'整个': 889,
'充满': 890,
'想起': 891,
'能力': 892,
'真心': 893,
'员工': 894,
'风格': 895,
'泡': 896,
'欢乐': 897,
'要求': 898,
'之间': 899,
'不如': 900,
'实在': 901,
'17': 902,
'不了': 903,
'一路': 904,
'火锅': 905,
'美景': 906,
'英国': 907,
'盐': 908,
'移动': 909,
'享': 910,
'关于': 911,
'再次': 912,
'不少': 913,
'乐': 914,
'数据': 915,
'当年': 916,
'餐': 917,
'早上': 918,
'李': 919,
'饭': 920,
'亲们': 921,
'云': 922,
'平台': 923,
'青年': 924,
'唱': 925,
'青春': 926,
'到底': 927,
'制作': 928,
'估计': 929,
'组': 930,
'呵呵': 931,
'依然': 932,
'经常': 933,
'想去': 934,
'变': 935,
'早餐': 936,
'惊喜': 937,
'丝': 938,
'式': 939,
'甚至': 940,
'包括': 941,
'蛋糕': 942,
'保护': 943,
'方法': 944,
'看见': 945,
'圣诞': 946,
'点击': 947,
'海南': 948,
'西藏': 949,
'宝宝': 950,
'话题': 951,
'来到': 952,
'技术': 953,
'愿': 954,
'生日': 955,
'选': 956,
'周年': 957,
'汤': 958,
'德国': 959,
'领导': 960,
'白': 961,
'大师': 962,
'搭配': 963,
'一生': 964,
'光': 965,
'经历': 966,
'票': 967,
'来说': 968,
'夏天': 969,
'楼': 970,
'未': 971,
'心里': 972,
'南': 973,
'仅': 974,
'春天': 975,
'姑娘': 976,
'感': 977,
'鸡': 978,
'会员': 979,
'明星': 980,
'层': 981,
'包袱': 982,
'不管': 983,
'搞': 984,
'电视': 985,
'左右': 986,
'拉': 987,
'完': 988,
'某': 989,
'最爱': 990,
'下次': 991,
'父母': 992,
'竟然': 993,
'多年': 994,
'过来': 995,
'东方': 996,
'认识': 997,
'合作': 998,
'不断': 999,
...}
# 查询词语“地球”对应的词向量
word2vec.word_vec('地球')
<ipython-input-53-68063290bfef>:2: DeprecationWarning: Call to deprecated `word_vec` (Use get_vector instead).
word2vec.word_vec('地球')
array([ 0.594169, -0.568692, -0.776196, -0.324364, 0.016311, -0.225051,
0.420986, 0.43116 , 0.428265, -0.256983, 0.370124, 0.305862,
-0.020324, 0.243007, 0.234712, -0.614161, -0.140672, 0.695551,
0.083963, 0.689722, 0.233259, 0.152571, 1.024671, 0.139783,
0.202395, 0.152258, -0.26312 , 0.102958, 0.248036, 0.131189,
0.275885, 0.082996, 0.491571, 0.225018, 0.266493, -0.420912,
-0.471418, 0.809017, 0.141163, 1.130004, -0.261278, -0.856712,
-0.400395, 0.198048, 0.05645 , 0.678296, 0.2836 , -0.130534,
0.805508, 0.093283, -0.646966, 0.529736, 0.779232, 0.551138,
0.174808, 0.247027, -0.373688, -0.576475, -0.325732, -0.082459,
-0.47632 , -0.229266, 2.085353, 0.592716, 0.176334, 0.497692,
0.649653, 0.144183, 0.703805, 0.034919, 0.748792, 0.085221,
0.473858, -0.401072, -0.947229, 0.576858, 0.315247, -0.640268,
0.342379, -1.558704, 0.086163, 0.334141, -0.820931, -0.971747,
0.265167, 0.501708, -0.44508 , -0.201019, 1.137126, -0.524235,
0.358898, -0.225462, 0.265465, -0.206449, -1.366041, 0.199185,
0.268479, -0.708933, -0.317492, 0.005376, 0.459616, -0.052285,
-0.337994, -1.220452, 0.09167 , 0.315118, -0.063763, -0.426036,
0.205738, 0.323416, 0.57625 , -0.164826, -0.525151, -0.1566 ,
-0.518378, 0.313611, 0.06549 , 0.194561, 0.198763, -0.622947,
0.689087, 0.152702, -0.230708, 0.393303, 0.288658, -0.469481,
0.101568, -0.559899, -0.239013, 0.04444 , -0.512653, -0.191998,
-0.154456, 1.33964 , 0.32832 , 0.982129, -0.171914, 0.494866,
1.032956, 0.24044 , -0.905777, -0.272647, -0.161794, -0.211096,
-0.920188, 0.985234, -0.044058, -0.38891 , 0.681905, -0.400282,
-0.500766, -0.127555, 0.307823, 0.694935, -0.512435, -0.901273,
0.641044, -0.16945 , 0.632315, 0.272749, -0.694152, 0.686993,
0.262837, 0.59613 , 0.090302, 1.860848, -0.166851, 0.276754,
-0.555203, 0.697493, 0.936634, 0.193718, 0.196608, 0.073793,
0.082054, 0.284785, -0.812682, -0.204861, 0.824906, -0.676902,
-0.854978, -0.909203, -0.280592, -0.480879, -0.217995, -0.256043,
0.517293, 0.201248, -0.565574, 0.360344, 0.181837, -0.133435,
-0.334987, 0.040227, 0.501909, 0.191659, 0.209178, 0.099721,
-0.124362, 0.848287, -0.029316, 0.113569, 0.747785, 0.206726,
0.339223, 0.1414 , -0.828587, 0.846909, -0.486901, 0.042668,
-0.349429, -0.0491 , -0.188621, 0.628018, 0.787592, 0.619018,
-0.729359, 0.633972, 0.678034, -0.252666, 0.008 , -0.2895 ,
0.995281, -0.099295, 0.846986, 0.657285, 0.736554, 0.796017,
-0.118278, -0.671056, -0.684588, 0.024951, 0.084893, 1.330889,
-0.907356, -0.469333, -0.937091, -0.621381, 0.037569, 1.131863,
-0.082662, -0.200744, 0.316928, -0.207599, 0.280597, -0.627365,
1.029001, 0.589092, 0.556169, 0.513512, -0.441827, 0.05047 ,
-0.215281, -1.183606, -0.011877, -0.588229, -0.492906, 0.49306 ,
0.377719, 0.569881, -0.647512, 0.328652, -0.105831, 0.318817,
-0.024814, -0.292444, -0.298455, -0.460332, 0.08468 , -0.303269,
-0.0561 , -0.369285, 0.584729, -0.051919, 0.328322, -0.826165,
-0.872997, -1.262497, 0.06934 , -0.400124, -0.969265, -0.209392,
-0.524788, 0.12054 , -0.275462, 0.336152, -0.465911, 0.601564,
1.018939, 0.239033, 0.63644 , 1.337305, 0.22037 , 0.3295 ,
-0.219874, 0.385543, -0.417511, 0.481287, -1.519231, 0.074622],
dtype=float32)
# 查询与“地球”最相近的词
word2vec.most_similar('地球')
[('自转', 0.5498958230018616),
('@WWF', 0.5482718348503113),
('世界自然基金会', 0.5304360389709473),
('月球', 0.5204099416732788),
('太阳系', 0.5103502869606018),
('熄灯', 0.509930431842804),
('星球', 0.5082988142967224),
('8.214', 0.5052586793899536),
('地球日', 0.4897368550300598),
('小行星', 0.47547173500061035)]
2：获取embedding_matrix
通过以上操作我们可以得到微博文本的词向量表示。每一条谣言为一条样本数据。通过分词和去除停用词得到每一
条样本的文本特征，再使用已训练好的词向量得到上述谣言文本特征词的向量表示。
本节用以构造可以输入到机器学习模型与深度学习模型的样本矩阵。
每一条样本为50000*300维的矩阵。每一个词表示为300维的向量。50000为微博词汇库里使用频率前50000个词汇。
若某条数据有7个词汇，则该数据为50000*300维的矩阵，且只有7行非0，其余元素全为0.显然样本数据高度稀疏。
举例：
非谣：1 #星娱星乐#一个朋友和一个送外卖的帅哥之间的故事。温馨有爱，令人感动。
提取文本特征：星娱星乐 朋友 送 外卖 帅哥 故事 温馨 爱 感动，共9个文本特征词汇
由于词汇“星娱星乐”不属于频率为前50000词汇，去除该文本。剩下8个文本特征。
该样本为50000*300维的矩阵，其中只有词汇“朋友 送 外卖 帅哥 故事 温馨 爱 感动”对应的行向量非0，其余词
向量变为0.
5152
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
