文本分析系列——汇总

最新推荐文章于 2024-04-21 11:37:04 发布
最新推荐文章于 2024-04-21 11:37:04 发布
阅读量432 收藏 1
点赞数
分类专栏： 文本语言处理 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013654622/article/details/48470529
版权

        文本分析系列的文章是我在2012～2013年做某个项目的笔记和资料整理而成，所提到的算法／实现方式都最终应用于项目开发，而并非只是概念上，当然文本分析领域非常大也非常艰深（包括google在内的大公司都有深入的研究和产品），以下的文章资料仅限于文本的零和判断、关联判断、排重、分类：

特征抽取

文本分析系列——文本特征抽取

文本分析系列——词语权重算法：TF-IDF算法


文本判断

文本分析系列——基于词库的文本是非判断计算

文本分析系列——基于相似哈希信息指纹的文本相似度算法


文本分类

文本分析系列——基于向量空间模型的文本分类方法

 

（链接陆续更新…）

做工程师的IT猫
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
中英文情感文本分析词库
10-05
具有情感文本分析的中英文语料库，词语全面
中文文本分析--停用词词库文件，结合了多个词库
12-11
中文内容分词中用到的停用词问题解决词库，整合了多个词库文件中的内容，相信对你有帮助。
对文本分类词库的考虑
青青陵上柏，磊磊涧中石
05-27 3500
老板喊看看能不能做个分类词库的东西，以后我们分类、聚类就根据这个库来做了。所谓分类词库，我是这样理解的：每个类别都有N个词，当需聚类文本分词之后，统计其词的分部情况，看看词落在哪个类比较多，从而组成特征向量用于聚类。查了些资料，发现他的思路已经被N多人做过，而且过程比较复杂：对文本分词、去停用词、特征选择、生成向量空间、聚类算法……总而言之，是采用词做为最小的义原，这样做的弊端是步骤太多，如何
文本分析系列——基于词库的文本是非判断计算
做工程师的IT猫
09-29 892
分类是我们经常遇到的问题，而“是”与“否”是最简单的分类命题，对于人类来说分类不难，例如：这支笔是不是钢笔？但对于机器来说就没有那么简单，以下提到的文本的是非判断是我开发过的项目中所使用的计算方法，本质上来说是朴素贝叶斯分类计算，只是在这个的基础上做了改良，用于文本（新闻）是否属于某城市的判断，正确率80%左右； 简介         二分类是指所有的文本只存在两个分类的划分，例如“*
Python中文文本处理利器--jieba分词库详解
AI_dataloads的博客
09-26 6577
jieba（结巴分词）是一个开源的中文分词工具，用于将中文文本切分成词语或词汇单位。它是一个 Python 库，广泛用于自然语言处理（NLP）和文本分析领域。中文分词：jieba 可以将中文文本按照词语切分，使得文本可以更容易地被处理和分析。分词是中文文本处理的基础步骤，对于词频统计、文本分类、情感分析等任务非常重要。多种分词模式：jieba 支持不同的分词模式，包括精确模式、全模式和搜索引擎模式。用户可以根据具体任务需求选择不同的模式。自定义词典：用户可以创建自定义词典，以确保特定词汇被正确切分。
词典法小实验——简单文本分析个人博客汇总整理
01-07
下文是对情感法进行简单情感分析的过程博客，并不涉及对词语的加权、对程度副词加权和对否定词取反的操作，仅仅对词典中的词语进行计数。 输入：待计数文档，已有的六个情感词典。 输出：对六个词典中出现的词语进行...
利用Python进行数据分析——基础示例
01-27
5. 文本分析： - 名字字母分布：分析名字的最后字母可以揭示一些模式，例如在特定年份某些字母的流行程度。通过时间序列绘图，可以清晰地看到这些变化。 6. 数据整合与信息提取： - 食物数据库：在处理包含复杂...
python数据分析基础——批量进行数据分析!
最新发布
2401_83703893的博客
04-21 813
df = pd.read_excel(‘描述统计.xlsx’)df.columns = [‘序号’,‘员工姓名’,‘月销售额’]df = df.drop(columns=[‘序号’,‘员工姓名’])df_cut = pd.cut(df[‘月销售额’], bins = range(8, 37, 4)) # 在指定的端点值划分区间cut_count = df[‘月销售额’].groupby(df_cut).count()df_all[‘计数’] = cut_count。
什么是系列——深度学习入门
01-18
神经网络是深度学习的基础，由一系列相互连接的节点（或称为神经元）组成，模拟大脑的神经元网络。这些节点通过权重进行连接，用于处理和传递信息，实现对复杂模式的识别。 “什么是卷积神经网络 (CNN, 深度学习)”...
Excel数据分析技巧——笔记
WUTANGRONG的博客
05-09 735
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录Excel函数技巧一、Excel函数进阶：复杂函数案例实战一、VLOOKUP函数记忆二、VLOOKUP模糊查找三、VLOOKUP的多条件查找四、VLOOKUP与HLOOKUP的区别 Excel函数技巧 提示：这里可以添加本文要记录的大概内容： Excel函数技巧 提示：以下是本篇文章正文内容，下面案例可供参考 一、Excel函数进阶：复杂函数案例实战 一、VLOOKUP函数记忆 lookup_value:查找值（用谁找） ta.
文本分析-使用jieba库实现TF-IDF算法提取关键词
m0_64336780的博客
06-27 2万+
TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。简单来说就是：一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。
中文文本分析（1）--分词
weixin_44682992的博客
06-25 2616
中文文本分析（1）--分词1、 安装包2、数据预处理2.1 数据清洗2.2 分词2.3 去除停用词2.4 同义词替换 1、 安装包 import jieba import re 2、数据预处理 数据格式： [“晚上想吃五花肉土豆盖浇饭”， “今晚吃鸡嘿咻嘿”， “绿皮环保小火车进站”， “一首《梦醒时分》送给大家”] 具体流程如下： 数据清洗分词去除停用词同义词替换 2.1 数据清洗 目的：清洗文...
Python 中文 文本分析 实战：jieba分词+自定义词典补充+停用词词库补充+词频统计
大数据AI笔记
04-28 3万+
最近项目需要，实现文本的词频分析，折腾了几天才完成任务，有点成就感，最后整理总结一下这部分的内容，希望更多同僚受益。 使用方法 环境：Python3.6 安装结巴：pip install jiaba 下载停用词词典哈工大停用词词典 构建补充词典userdict，后文详解 运行文章最后面的完整代码 先来认识jieba 参考 简介 “结巴”中文分词：做最好的Python中...
百度词库格式分析
zouyongjin的专栏
11-14 1790
http://www.cnblogs.com/studyzy/archive/2012/03/01/2375542.html http://code.google.com/p/imewlconverter/source/browse/trunk/IME%20WL%20Converter/IME/BaiduPinyinBdict.cs a = u'\xb3\xc2\xbd\xa8\xc3
情感分析资源大全（语料、词典、词嵌入、代码）
热门推荐
qq280929090的专栏
04-27 6万+
　　该博客收集情感分析领域中一些语料、词典等。 1 语料库 1.1 谭松波-酒店评论语料-UTF-8,10000条 　　现在网上大部分谭松波老师的评论语料资源的编码方式都是gb2312，本资源除了原始编码格式，还具有UTF-8编码格式。 本资源还包含将所有语料分成pos.txt和neg.txt两个文件，每个文件中的一行代表原始数据的一个txt文件，即一篇评论。 　　下载地址为：谭...
python结巴分词词库_Python数据科学实践 | 文本分析1
weixin_29623317的博客
12-19 358
大家好，基于Python的数据科学实践课程又到来了，大家尽情学习吧。本期内容主要由智亿同学与政委联合推出。本次将会学习利用Python处理文本数据。在正式开始之前, 需要明确一点：计算机无法真正意义上理解像人一样理解自然语言。事实上，直到上个世纪70年代，主流研究者希望以规则(语法)的形式帮助计算机理解自然语言。然而，有限的规则无法处理无限的语言。因此，之后的研究重心转向了利用统计模型来...
【python】文章、文本内容做词频统计（使用jieba分词，添加自定义字典）
HelenLee
03-01 1976
使用python可以轻松统计词频，做文章的词频统计也是轻而易举的事情。 1、添加自定义字典（如：超级赛亚人、奥里给等） 2、jieba分词 PS：直接将文章丢进 tf.txt 文件里，将自定义字典丢进 dict.txt 文件里就OK了 import jieba txt = open("tf.txt", encoding="utf-8").read() jieba.load_user...
文本分析--停用词集合（结合哈工大停用词表、四川大学机器智能实验室停用词库、百度停用词表等）
墨竹
04-18 2万+
文本分析过程中，中文文本分析是一个非常重要的环节，而停用词表的选择也是非常关键的，网络流行了多种版本的停用词表，都具有各自的特点，现在对网络流行的多种停用词表继续去重处理，综合实现新的停用词表。不同版本的停用词表： 去重合并：# -*-coding:utf-8-*- import os """ 合并文本文件 """ mergefiledir = os.getcwd()+'\\stopwor
文本分析系列——词语权重算法：TF-IDF算法
做工程师的IT猫
09-18 8795
简介      TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的频率；反文档频率（inverse document frequency，IDF），即某一个给定词语在文档集合中出现的次数与文档总数的商； 理论 如果某个词或短语在一篇文章中出现的频率高，
胃癌单病种数据管理系统——高效科研分析工具
- **数据交流**：可以将数据导出为文本或Excel格式，兼容其他统计分析软件。 - **单因素统计分析**：自动进行单因素分析并生成图表。 4. **主要特点**： - 专注于单病种胃癌的详实科研数据，不同于传统的EMR、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值