word2vec+textrank找到文本关键句

目前的效果比较呆 还不是很好用
试着边学边改吧
加了点处理句子的东西

import gensim
import numpy as np
import jieba
import networkx as nx
import re
from  sklearn.metrics.pairwise import cosine_similarity
#使用维基百科语料库训练
'''
大致过程:清洗数据 
        jieba分词 
        CBOW模型 维度100 窗口5
        简单试了几个词的距离 效果只能说一般
'''
FILE_PATH = 'wikipedia_zh_word2vec.bin'
model = gensim.models.KeyedVectors.load_word2vec_format(FILE_PATH,binary=True)


file = open('123.txt', encoding='utf8')
fstr = file.read()
flen = len(fstr)
sentence = []
'''
按。!?切成句子
再消除掉,、()《》;[数字]
'''
sentence_cut = ['。', '!', '?']
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值