使用Word Embedding构造简洁有效的文本摘要系统

最新推荐文章于 2024-06-05 16:50:48 发布
最新推荐文章于 2024-06-05 16:50:48 发布
阅读量3.1w 收藏 13
点赞数 4
分类专栏： 自然语言处理 深度学习 文章标签： 自然语言处理 文本摘要 Word embedding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/malefactor/article/details/51264244
版权
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/

                                                     author: 张俊林,黄通文,薛会萍



文本摘要是在信息泛滥的时代非常重要的工具，可以帮助用户快速判断文章内容主旨，并以此决定是否值得细看文章内容。


本文介绍下我们在2014年底2015年初时，使用WordEmbedding思想来构造文本摘要的一些思路，其中包括一种异常简单的文本摘要实现思路，实验效果证明这种方法虽然简单，可能比传统的TFIDF方法还要简单，但是效果与比较复杂的方法是相当的。


这里介绍我们做的其中两种方法，一种是非常简单的根据字Word Embedding直接叠加方式做摘要系统，另外一种是对HITS经过Word Embedding改造的文本摘要思路。


|基于字Word Embedding叠加的简洁文本摘要系统


首先，我们可以使用Word2Vec等工具获得汉字的Word Embedding。然后对于某个文档进行分句，对于每个句子使用单字的Word Embedding直接累加获得句子的Word Embedding表示；


然后，把每个句子的WordEmbedding直接累加获得整个文档的Word Embedding

最低0.47元/天 解锁文章
张俊林博客
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
WordEmbedding-WikiChinese：基于中文维基百科文本数据训练词向量
02-19
基于中文维基百科文本数据训练词向量 一，数据获取 本词向量利用的是中文维基百科的语料进行训练。 语料地址： （大小1.16G） 也可以在我的网盘上下载：链接： 提取码：ihu4 二，数据转换 原数据的格式是xml，我们可以将其转换为txt。 这里使用的是gensim自带的WikiCorpus，首先读取xml文件到input_file中，然后其中的get_texts方法会生成一个get_texts器，每一个继承蕴含了一篇文章，这样我们就可以将其写入新的txt文件中了。 三，繁体数据转换为简体数据 该Wiki数据是繁体中文数据，我们要把他们转换为简体中文数据。 利用zhconv包。 四，分词 利用结巴分词。 五，去除非中文词 一些单词中会包含非中文的词，我们要利用正则表达式将该词移除。 判断是否中文词的正则表达式为： ^[\u4e00-\u9fa5]+$ 六，词向量训练 利用from gens
word embedding
xiaoxiaoqian0519的博客
01-11 154
文本表示 **作用：**将非结构化的信息转化成结构化的信息，这样可以针对文本信息进行计算，完成日常解决的文本分类，情感判断等任务； 文本表示的方法：（1）独热码编码；（2）整数编码；（3）词嵌入； 两种主流的word embedding的方法：word2vec以及GloVe Word2vec： 基于统计方法获得词向量的方法； GloVe： 将全局统计和Word2vec的基于上下文的学习结合起来； GloVe简单介绍 这个是基于全局词频统计的词表征工具，可以将一个单词表达成一个由实数组成的向量，这些向量捕捉
自然语言处理（NLP）—— 自动摘要
最新发布
weixin_65190179的博客
06-05 939
它的第一种方法是基于理解的，受认知科学和人工智能的启发。在这个方法中，我们首先建立文本的语义表示，这可以理解为文本中的概念和它们之间关系的网络。然后，我们对这个语义表示进行简化处理，并从简化的内容中生成摘要。构建语义表示可能非常耗时和成本高昂，因为它需要深入理解文本中的每一个概念及其关系。在简化阶段决定什么是重要的可能非常微妙，因为这需要区分文本中的核心内容和次要信息。在整个处理过程中需要保持对原始信息层次的认识，不可以在简化或泛化的过程中失去重要信息。
word embedding各种方法总结
xiaoxiaoqian0519的博客
01-11 1639
word2vec word2vec是一个工具，背后的模型是CBOW或者Skip-gram，并且使用了Hierarchical Softmax或者Negative Sampling这些训练的优化方法。 GloVe 1、首先根据语料库创建一个共现矩阵，其中每一个元素代表单词和上下文词再特定的上下文窗口内共同出现的次数，并且GloVe还提供了decreasing weighting，就是基于两个词在上下文窗口中的距离d，去给一个权重1/d，也就是距离远的两个词，占总计数的权重就小； 2、构建词向量和共现矩阵之间的
Word Embedding
ABC__xiaoming的博客
07-21 390
Word Embedding 1. 基本概念 1.1 什么是Word Embedding 现有的机器学习方法往往无法直接处理文本数据，因此需要找到合适的方法，将文本数据转换为数值型数据，由此引出了Word Embedding的概念。如果将word看作文本的最小单元，可以将Word Embedding理解为一种映射，其过程是：将文本空间中的某个word，通过一定的方法，映射或者说嵌入到另一个数值向量空间 1.2 Word Embedding的输入 Word Embedding的输入是原始文本中的一组不重叠的
Word Embedding总结
J~的博客
12-06 1533
目录 1 概述 2 词的表示方法类型 2.1 词的独热表示one-hot representation 2.2词的分布式表示distributed representation 2.2.1基于矩阵的分布表示（Glove） GloVe模型(Global Vectors for Word Representation) 2.2.2基于聚类的分布表示 2.2.3 基于神经网络的分布...
WordEmbedding源文件，写的清晰明了，供参考
11-28
9. **Jupyter Notebook**：TopicModel_Word2Vec.ipynb很可能是使用Jupyter Notebook创建的，这是一个交互式计算环境，支持Python代码、文本、数学公式和可视化，非常适合教学和实验。 综上所述，这个压缩包中的...
Chinese Textual Entailment Recognition Enhanced with Word Embedding
02-09
Textual entailment has been proposed as a unifying generic framework for modeling language variability and semantic ... Then a word embedding based lexical entailment module is added to enhance c
关于word embedding的一些思考
Lcyztf的博客
09-08 1506
源于最近做生成和检索式对话系统，以及一篇well named paper：When and Why are Pre-trained Word Embeddings Useful for Neural Machine Translation？ 这里总结一下最近对word embedding的思考。 https://www.cnblogs.com/Determined22/p/5780305.htm...
1.7使用Word Embedding实现中文自动摘要《深入浅出Embedding》
勇气与行动
02-28 865
本节通过一个实例讲解如何使用Word Embedding实现中文自动摘要，这里使用Gensim中的word2vec模型来生成Word Embedding. 1.7.1 背景说明 使用Word Embedding方法提取关键字，主要步骤如下： 1）导入一个中文语料库 2）基于这个中文语料库，搭建word2vec模型，训练得到各单词词向量 3）导入一个文档，包括各主题及其概要描述信息，预处理该文档，并转换为词向量 4）用聚类的方法，生成各主题的若干个关键词 1.7.2 预处理中文语料库 利用ji
wordsim353.rar
05-18
词汇相似度 wiki wordsim353
word embedding是什么，word embedding之前需要做什么？
weixin_44535934的博客
01-22 2539
我们知道自然语言处理是让机器能够看懂并理解人类所说的语言，能够像人类一样进行交互，和人对话。从自然语言的角度看，NLP可以大致分为自然语言处理和自然语言生成这两部分，就是理解文本和文本生成。具体应用领域几乎覆盖日常生活，如提取文章摘要，文本情感分析，淘宝京东上机器人客服的智能问答，实体命名识别，知识图谱，信息检索等等。又比如说现在已经有方言的语音转文字技术。那具体实现起来该怎么样呢？我们总不能直接把一堆文字或者一段英文直接倒给计算机，计算机只能处理数字，那么我们就得把词给转换成可以供计算机计算的数。
NLP-词向量(Word Embedding)：Embedding（Tranform Object To Vector）【对象向量化；Embedding的本质是以one-hot为输入的单层全连接层】
u013250861的博客
12-22 2566
- 近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。 - “Embedding”直译是嵌入式、嵌入层。它能把万物嵌入万物，是沟通两个世界的桥梁！ - 用数学的话来说：“它是单射且同构的” - 地图就是对于现实地理的Embedding，现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。 - 通过Embedding，我们在现实世界里的文字、图片、语言
M3E，开源中文 Embedding 模型使用笔记
清水至清
10-25 4276
【代码】M3E，开源中文 Embedding 模型使用笔记。
深度学习之embedding层讲解
qq_42902997的博客
03-01 1万+
Embedding 要知道embedding的作用，首先要了解独热编码(one-hot encoding)。假设现在有如下对应编码关系： 0：我 1：是 2：一 3：头 4：猪 那么用来表示一句话比如：“我是猪”表示为： 0，1，4 而one-hot编码中只存在 0 和1，有多少个字要编码，独热编码的每一行长度就会有多长，比如字典中一共有 5 个字 “我是一头猪” 被从 0-4 进行了编码，那么独...
获取Embedding
咔咔响
06-30 1663
今天我们来介绍实现Embedding的方法，分为手动实现、利用平台获取以及预训练模型手动实现一个简单word2vecimport numpy as np from argparse imp...
wikipedia 训练繁体中文 embedding(word2vec)模型
Jasmine_dream
07-23 1644
由于课题任务需要一个繁体中文的word3vec, 折腾经过记录在此。希望以后少掉几个坑。 训练好的embedding放在网盘中， 密码：2um0 原文发布于个人博客(好望角)，那里有更好的阅读体验。 get wiki 最新的wiki datas下载地址，目前有1.6G大小。 里面的内容以XML格式保存。节点信息如下： <page> &
Word Embedding与Word2Vec
热门推荐
白马负金羁
09-05 4万+
词嵌入（Word Embedding）是NLP中的一个重要话题。随着深度学习的兴起，研究人员开始设计基于神经网络的词嵌入方法，其中最为重要，也是当前最流行的Word Embedding方法就是Tomas Mikolov在谷歌工作时发明的Word2Vec方法，同时谷歌还开源了Word2Vec这个工具箱的源码。gensim在原有的基于C语言的Word2Vec工具箱之上进行了封装，使其能够在Python中更加轻松地被调用
Word Embedding怎么使用
05-31
Word Embedding是将单词表示为向量的一种技术，常用的方法有Word2Vec、GloVe等。使用Word Embedding可以将文本数据转换为向量形式，以便可以输入到各种机器学习算法中进行处理。 具体来说，使用Word Embedding的步骤如下： 1.准备语料库：首先需要准备一个大规模的语料库，例如维基百科、新闻文章等。可以使用各种数据爬取工具来收集数据，然后进行清理和预处理。 2.训练Word Embedding模型：使用准备好的语料库来训练Word Embedding模型，例如Word2Vec、GloVe等。这些模型需要大量的计算资源和时间来训练，可以使用GPU等加速工具来提高训练速度。 3.获取单词向量：训练好Word Embedding模型后，可以使用模型来获取单词向量。对于每个单词，可以得到一个固定长度的向量，该向量可以表示该单词在语义上的相似性。 4.使用单词向量进行文本处理：将文本数据转换为向量形式后，可以输入到各种机器学习算法中进行处理。例如，可以使用向量表示来训练文本分类器、情感分析器等模型。 总之，使用Word Embedding技术可以将文本数据转换为向量形式，以便可以输入到各种机器学习算法中进行处理。在使用Word Embedding时，需要准备语料库、训练模型、获取单词向量等步骤。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值