最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
https://github.com/letiantian/TextRank4ZH , 实现了不错的文本处理效果。
效果预览
最近,Tushare Pro 发布了近10年的CCTV新闻联播数据,对数据进行了清洗和规范。
但是,每天的新闻联播内容共有上万字,完全的读下来也是比较费劲。如果使用自动摘要技术把这上万字的内容浓缩成10个句子,阅读负担一下子就减轻了不少。而自动摘要正是 TextRank 的用武之地。
在实现功能之前,我们先来看看从新闻中提取的摘要效果。
得益于Tushare提供的新闻联播规范文本,TextRank自动摘要效果看起来非常不错。
为什么TextRank能有这么好的效果呢?这主要是因为图排序模型是基于全局信息来计算每个顶点的重要性,而不是仅仅使用局部信息。下面简单介绍一下TextRank应用于自动摘要的基本原理。
基本原理
前面已经说到,使用TextRank分析文本,首先需要在文本上构建一张图。
对于文本自动摘要任务,我们使用句子作为图的顶点,句子与句子之间的相互关系作为图的边。这里不能简单的用句子在文本中的前后关系来构建图的边,我们需要评估句子与句子之间的相似度,每个句子仅与它最相似的几个句子之间构成连接,并使用相似度作为边的权重。
事实上,两个句子相似,可以认为这两个句子之间存在一种“推荐”关系,即:读者读完这个句子后,这个句子推荐读者去读跟它相似的句子。
评估两个句子相似度的方法有很多,比如:余弦相似度、编辑距离等,在TextRank算法中使用的是最基本方法,通过计算两个句子中相同词语的数量来计算相似度,此外,可以加语法过滤器对词语进行过滤。
确定了图的顶点和边是什么,以及边的权重,一张加权图(weighted graph)就已经得到了,这个加权图的形状如图1所示。接下来就可以使用PageRank去迭代计算每个顶点(句子)的重要性。最后,将最重要的N个句子作为整个文本的摘要,这就是TextRank的自动摘要结果。
代码实现
由于textrank4zh已经实现了TextRank的功能,我们拿过来直接使用就可以,而且用法极其简单。
现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。
分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
ac0)**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!