使用Word Embedding构造简洁有效的文本摘要系统

最新推荐文章于 2024-08-16 13:29:44 发布
最新推荐文章于 2024-08-16 13:29:44 发布
阅读量3.1w 收藏 13
点赞数 4
分类专栏： 自然语言处理 深度学习 文章标签： 自然语言处理 文本摘要 Word embedding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/malefactor/article/details/51264244
版权
本文介绍了利用Word Embedding构建文本摘要系统的两种方法，包括基于字向量叠加的简单系统和对HITS的语义改造。实验结果显示，这些简单方法在效果上与复杂的TFIDF或HITS方法相当，具有较高的实用价值。
摘要由CSDN通过智能技术生成
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/

                                                     author: 张俊林,黄通文,薛会萍



文本摘要是在信息泛滥的时代非常重要的工具，可以帮助用户快速判断文章内容主旨，并以此决定是否值得细看文章内容。


本文介绍下我们在2014年底2015年初时，使用WordEmbedding思想来构造文本摘要的一些思路，其中包括一种异常简单的文本摘要实现思路，实验效果证明这种方法虽然简单，可能比传统的TFIDF方法还要简单，但是效果与比较复杂的方法是相当的。


这里介绍我们做的其中两种方法，一种是非常简单的根据字Word Embedding直接叠加方式做摘要系统，另外一种是对HITS经过Word Embedding改造的文本摘要思路。


|基于字Word Embedding叠加的简洁文本摘要系统


首先，我们可以使用Word2Vec等工具获得汉字的Word Embedding。然后对于某个文档进行分句，对于每个句子使用单字的Word Embedding直接累加获得句子的Word Embedding表示；


然后，把每个句子的WordEmbedding直接累加获得整个文档的Word Embedding

最低0.47元/天 解锁文章
张俊林博客
关注
专栏目录
【nlp】1.2文本张量表示方法(词向量word2seq和词嵌入Word Embedding)
lys_828的博客
11-13 1053
word2vec是一种流行的将词汇表示成向量的无监督训练方法。该过程将构建神经网络模型，将网络参数作为词汇的向星表示它包含CBOW和skipgram两种训练模式CBOW(Continuous bag of words)模式给定一段用于训练的文本语料，再选定某段长度(窗口)作为研究对象，使用上下文词汇预测目标词汇概念：1). 也是一种词向量的表示方法 (把词表示成向量;一句话表示成向量矩阵2). 使用深度学习的方法也就是使用深度学习网络的方法。使用深度学习网络的参数 来表示词向量。
33. BI - Graph Embedding 回顾以及 GCN 算法介绍
茶桁专栏
04-21 808
「GCN」，这里的 G 就是 Graph，CN 基本上就是 CNN 差不多，是卷积神经网络。其实从名字上分析，我们知道它应该是「图卷积神经网络」。 图卷积神经网络是在图的基础上做了特征的提取，这个特征提取能力对于图的特征提取来说是非常强大的一个武器，把特征提取完以后就可以用于后续的分类任务。
深入浅出ChatGPT：揭秘Transformer的Embedding层精华
aibishe的博客
06-09 241
_biz=MzU3OTgyMjM3MA==&mid=2247484353&idx=1&sn=452b5e450b9eba799ba9b024099a2e87&chksm=fd61758cca16fc9aab3f99af1ce9662f1e029799f90e9f5fc30feff2a038bbca9a9c5298c47b&scene=21#wechat_redirect](/ “第三篇：要真正入门AI，OpenAI的官方Prompt工程指南肯定还不够，您必须了解的强大方法论和框架”)
WordEmbedding-WikiChinese：基于中文维基百科文本数据训练词向量
02-19
基于中文维基百科文本数据训练词向量 一，数据获取 本词向量利用的是中文维基百科的语料进行训练。 语料地址： （大小1.16G） 也可以在我的网盘上下载：链接： 提取码：ihu4 二，数据转换 原数据的格式是xml，我们可以将其转换为txt。 这里使用的是gensim自带的WikiCorpus，首先读取xml文件到input_file中，然后其中的get_texts方法会生成一个get_texts器，每一个继承蕴含了一篇文章，这样我们就可以将其写入新的txt文件中了。 三，繁体数据转换为简体数据 该Wiki数据是繁体中文数据，我们要把他们转换为简体中文数据。 利用zhconv包。 四，分词 利用结巴分词。 五，去除非中文词 一些单词中会包含非中文的词，我们要利用正则表达式将该词移除。 判断是否中文词的正则表达式为： ^[\u4e00-\u9fa5]+$ 六，词向量训练 利用from gens
一文彻底搞懂Bert（代码+手撕）
最新发布
Z4400840的博客
08-16 3838
在不断发展的自然语言处理（NLP）领域中，一项被称为 BERT 的突破性创新已经崭露头角，成为一场变革的推手。BERT代表双向编码器来自 Transformer 的表示，它不仅仅是机器学习术语浩瀚海洋中的又一个缩写。它代表了机器理解语言方式的转变，使它们能够理解使人类沟通丰富而有意义的复杂细微差异和上下文依赖关系。
word embedding
xiaoxiaoqian0519的博客
01-11 174
文本表示 **作用：**将非结构化的信息转化成结构化的信息，这样可以针对文本信息进行计算，完成日常解决的文本分类，情感判断等任务； 文本表示的方法：（1）独热码编码；（2）整数编码；（3）词嵌入； 两种主流的word embedding的方法：word2vec以及GloVe Word2vec： 基于统计方法获得词向量的方法； GloVe： 将全局统计和Word2vec的基于上下文的学习结合起来； GloVe简单介绍 这个是基于全局词频统计的词表征工具，可以将一个单词表达成一个由实数组成的向量，这些向量捕捉
几种Word Embedding技术详解
python1234_的博客
08-15 1089
词嵌入或词向量是我们用来表示文档和单词的一种方法。它被定义为一个数字向量输入，允许具有相似含义的单词具有相同的表示。它可以近似含义并在较低维空间中表示单词。这些可以比使用 WordNet 等图形嵌入的手工构建模型训练得更快。例如，具有 50 个值的词嵌入可以表示 50 个独特特征。许多人选择预先训练的词嵌入模型，如 Flair、fastText、SpaCy 等。我们将在文章中进一步讨论它。让我们通过一个示例来简要地了解它。
word embedding各种方法总结
xiaoxiaoqian0519的博客
01-11 1672
word2vec word2vec是一个工具，背后的模型是CBOW或者Skip-gram，并且使用了Hierarchical Softmax或者Negative Sampling这些训练的优化方法。 GloVe 1、首先根据语料库创建一个共现矩阵，其中每一个元素代表单词和上下文词再特定的上下文窗口内共同出现的次数，并且GloVe还提供了decreasing weighting，就是基于两个词在上下文窗口中的距离d，去给一个权重1/d，也就是距离远的两个词，占总计数的权重就小； 2、构建词向量和共现矩阵之间的
Word Embedding
ABC__xiaoming的博客
07-21 431
Word Embedding 1. 基本概念 1.1 什么是Word Embedding 现有的机器学习方法往往无法直接处理文本数据，因此需要找到合适的方法，将文本数据转换为数值型数据，由此引出了Word Embedding的概念。如果将word看作文本的最小单元，可以将Word Embedding理解为一种映射，其过程是：将文本空间中的某个word，通过一定的方法，映射或者说嵌入到另一个数值向量空间 1.2 Word Embedding的输入 Word Embedding的输入是原始文本中的一组不重叠的
使用Functional Api构造简洁的keras模型
weixin_44597588的博客
04-02 647
新手友好的keras functional api，快速实现深度学习领域的idea！
Python机器学习实战：自然语言处理中的文本分类技术
AI天才研究院
08-11 694
1. 背景介绍 1.1 文本分类的意义 在信息爆炸的时代，我们每天都面对着海量文本数据。如何高效地对这些文本进行分类，提取有价值信息，成为一项至关重要的任务。文本分类作为自然语言处理（NLP）领域的核心问题之一，其应用场景广泛，例如： 垃圾邮件过滤:
常用的词嵌入（Word Embedding）方法及其原理（超详细的李宏毅视频课笔记）
热门推荐
双鸭山•克里菲斯•北方孤星之堕
08-01 1万+
介绍最早的电脑读取文字的 每一个词汇都当做一个符号，都用向量来描述，这个方法是不足的，这样词汇和词汇之间的相关性反应不出来。 后来有了word class，将词汇进行分类。 这个方法也比较粗糙，比如动物也分了很多种 Word Embedding 每一个的词汇都用向量来描述，但是每一个维度是一个属性。 怎么做？这是一个无监督方法，通过让模型阅读大量词汇，就可以知道这个embedding的feature vector长什么样子。 就是找一个network，输入是一个词汇，输出就是那个embedding， 输
Word Embedding总结
J~的博客
12-06 1818
目录 1 概述 2 词的表示方法类型 2.1 词的独热表示one-hot representation 2.2词的分布式表示distributed representation 2.2.1基于矩阵的分布表示（Glove） GloVe模型(Global Vectors for Word Representation) 2.2.2基于聚类的分布表示 2.2.3 基于神经网络的分布...
关于word embedding的一些思考
Lcyztf的博客
09-08 1536
源于最近做生成和检索式对话系统，以及一篇well named paper：When and Why are Pre-trained Word Embeddings Useful for Neural Machine Translation？ 这里总结一下最近对word embedding的思考。 https://www.cnblogs.com/Determined22/p/5780305.htm...
1.7使用Word Embedding实现中文自动摘要《深入浅出Embedding》
勇气与行动
02-28 919
本节通过一个实例讲解如何使用Word Embedding实现中文自动摘要，这里使用Gensim中的word2vec模型来生成Word Embedding. 1.7.1 背景说明 使用Word Embedding方法提取关键字，主要步骤如下： 1）导入一个中文语料库 2）基于这个中文语料库，搭建word2vec模型，训练得到各单词词向量 3）导入一个文档，包括各主题及其概要描述信息，预处理该文档，并转换为词向量 4）用聚类的方法，生成各主题的若干个关键词 1.7.2 预处理中文语料库 利用ji
word embedding是什么，word embedding之前需要做什么？
weixin_44535934的博客
01-22 3093
我们知道自然语言处理是让机器能够看懂并理解人类所说的语言，能够像人类一样进行交互，和人对话。从自然语言的角度看，NLP可以大致分为自然语言处理和自然语言生成这两部分，就是理解文本和文本生成。具体应用领域几乎覆盖日常生活，如提取文章摘要，文本情感分析，淘宝京东上机器人客服的智能问答，实体命名识别，知识图谱，信息检索等等。又比如说现在已经有方言的语音转文字技术。那具体实现起来该怎么样呢？我们总不能直接把一堆文字或者一段英文直接倒给计算机，计算机只能处理数字，那么我们就得把词给转换成可以供计算机计算的数。
NLP-词向量(Word Embedding)：Embedding（Tranform Object To Vector）【对象向量化；Embedding的本质是以one-hot为输入的单层全连接层】
u013250861的博客
12-22 2676
- 近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。 - “Embedding”直译是嵌入式、嵌入层。它能把万物嵌入万物，是沟通两个世界的桥梁！ - 用数学的话来说：“它是单射且同构的” - 地图就是对于现实地理的Embedding，现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。 - 通过Embedding，我们在现实世界里的文字、图片、语言
M3E，开源中文 Embedding 模型使用笔记
清水至清
10-25 5226
【代码】M3E，开源中文 Embedding 模型使用笔记。
获取Embedding
咔咔响
06-30 1723
今天我们来介绍实现Embedding的方法，分为手动实现、利用平台获取以及预训练模型手动实现一个简单word2vecimport numpy as np from argparse imp...
Word Embedding怎么使用
05-31
Word Embedding是将单词表示为向量的一种技术，常用的方法有Word2Vec、GloVe等。使用Word Embedding可以将文本数据转换为向量形式，以便可以输入到各种机器学习算法中进行处理。 具体来说，使用Word Embedding的步骤如下： 1.准备语料库：首先需要准备一个大规模的语料库，例如维基百科、新闻文章等。可以使用各种数据爬取工具来收集数据，然后进行清理和预处理。 2.训练Word Embedding模型：使用准备好的语料库来训练Word Embedding模型，例如Word2Vec、GloVe等。这些模型需要大量的计算资源和时间来训练，可以使用GPU等加速工具来提高训练速度。 3.获取单词向量：训练好Word Embedding模型后，可以使用模型来获取单词向量。对于每个单词，可以得到一个固定长度的向量，该向量可以表示该单词在语义上的相似性。 4.使用单词向量进行文本处理：将文本数据转换为向量形式后，可以输入到各种机器学习算法中进行处理。例如，可以使用向量表示来训练文本分类器、情感分析器等模型。 总之，使用Word Embedding技术可以将文本数据转换为向量形式，以便可以输入到各种机器学习算法中进行处理。在使用Word Embedding时，需要准备语料库、训练模型、获取单词向量等步骤。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值