萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
如何快速优雅地处理你的NLP数据集?
试试这款号称「从小白到大神」的Texthero的工具包。
不仅编写快速,而且功能全面,预处理、表征、可视化样样精通,在Reddit上17个小时内就获得了近1.1k的热度。
连刚脱机的NLP程序猿看了都想与数据集再战几回:
下面是Texthero的使用效果。
△ 优雅美观的NLP数据处理界面
事实上,Texthero的优雅绝不仅仅在于上手的友好,最关键的是,它省略了大量重复性代码编写工作。
只需要几行代码,Texthero就能帮你完成想要的数据预处理、表征、可视化等操作,极大程度上解放了你的双手。
来看看Texthero进行数据预处理、各种算法后的可视化效果。
效果展示
首先,进行文本清理,然后采用TF-IDF算法进行特征表示,并对此可视化:
PCA降维后的效果duangduang的:
△ 进行文本清理和TF-IDF表征后的可视化效果
这不是你想要的?
那么,除了预处理和表征外,试试加上K均值聚类算法,并进行可视化:
效果如下:
△ 进行预处理、表征和K均值聚类算法后的数据效果
经过K均值聚类算法处理后的结果一目了然。
不仅快速友好,加载代码后,结果会生成在在同一个界面上,整体逻辑流程显得非常明了。
△ 使用效果
从展示效果来看,Texthero只需要编写少量代码,就能得到你想要的结果,为数据处理省去了不少时间。
事实上,只要掌握基本使用逻辑,萌新也能快速上手这款NLP数据处理神器。
使用指南
pip一下texthero后(或从GitHub上直接下载工具包,文末附代码链接),采用import导入它和pandas:
之后,加载你需要处理的文本信息数据集(这里采用了BBC sport数据库举例):
然后就可以开始使用了:
预处理
如果需要进行快速的数据预处理操作,直接使用「文本清理」就行:
当然,如果你需要对文本信息进行更细节的处理操作,例如将所有标点符号替换成空格、或者删除<>中的所有内容,Texthero也提供了非常完备的工具包,以供使用。
△ 光是预处理栏目就有这么多工具
再也不用编写一大堆代码,专门清理文本中的冗余数据了。
表征
同样,如果需要进行TF-IDF算法特征表示的话,同样只需要几行代码就能实现:
一键出结果:
如果需要更多的算法,这里也有meanshift、NMF等算法可以选用,每种算法基本都集成在一行代码中,你想要的这里都有。
可视化
而在可视化方向上,Texthero同样展现出了强大的能力,这里以PCA降维后的结果进行展示:
可视化效果非常清晰:
同样,可视化也可以自定义颜色、结果展示维度等,只需要一点Python的知识就能快速使用。
这么方便的NLP数据处理工具包,赶紧用起来~
传送门
代码链接:
https://github.com/jbesomi/texthero
项目链接:
https://texthero.org/
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
— 完 —
报名 | 四场直播详解AI芯片所有知识点
7月8日—7月11日期间,燧原科技资深产品专家和软件架构师将为大家分别详细讲解:
高端人工智能训练芯片的发展趋势
剖析软件全栈的技术难点
人工智能训练芯片在云计算中所面临的挑战和机遇
![89eda9018545fd16d94d4aab2e6af529.png](https://i-blog.csdnimg.cn/blog_migrate/d6ccebb9419de868aef82319a53f427f.jpeg)
![5219a918b3b059b430b1da1ce68ca9bf.png](https://i-blog.csdnimg.cn/blog_migrate/d7cf6ab14bd1c0528b9aadbb3bbd92fd.jpeg)
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !