![](https://img-blog.csdnimg.cn/220afe044f7b48929b5c36408b11e557.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
自然语言处理
文章平均质量分 66
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
阿波拉
这个作者很懒,什么都没留下…
展开
-
分布式技术在文本摘要生成中的应用
自然语言处理任务如文本分类、问答、关系抽取、文本摘要生成等,在各个领域都有着广泛的应用,但随着互联网上文本数据量的激增,以及海量数据中表现出的文本数据的复杂性和多样性,传统的自然语言处理技术面对海量的数据很难进行高效的任务处理,大数据和分布式技术的产生及运用,使得高效处理海量数据变为了可能,它们将许多原本需要人工来完成的文本任务交由机器完成,能够实现文本信息的高效处理。文档自动摘要算法是现在自然语言处理中发展迅速的算法,它可以从文本信息中自动的给出文章的概括,将文本的主要内容呈现在用户面前。原创 2024-04-22 20:14:34 · 662 阅读 · 0 评论 -
解决过拟合的几种方法
5.数据增强:通过随机旋转、裁剪、平移、缩放等方式,生成更多、更丰富的数据,以扩大训练集的规模,对数据进行标准化、归一化等预处理操作,可以提高模型的稳定性和泛化能力。4.Dropout: Dropout是指在神经网络中随机选择一些节点,在训练时将其输出置为0,以减少节点之间的依赖关系,从而避免过拟合。2.特征选择,使用更少的特征,减少特征维度,通过特征选择方法,去除冗余特征和噪声特征,以提高模型的泛化能力。1.增加数据集,增加数据量可以降低模型对训练集数据的依赖程度,从而减少过拟合的风险。原创 2024-04-02 15:10:07 · 1478 阅读 · 0 评论 -
UnicodeDecodeError: ‘utf-8‘ code can‘t decode byte 0xcc in position 0: invalid continuation byte解决方法
3.最终,查看了excel文件的属性。把csv的文件用记事本打开,然后点击另存为,选择带有BOM的UTF-8,然后再运行程序就成功啦!在处理数据集的时候遇到了UnicodeDecodeError的问题,解决办法搜了很久才找到。df = pd.read_csv()中加了encoding = 'gbk'2. 尝试了其他的解码方式,encoding='gb18030'1. 因为写的是utf-不能解码,所以在。原创 2024-01-28 16:14:53 · 533 阅读 · 0 评论 -
自然语言处理学习笔记(十二)————语言模型
(待更新)1.原创 2023-11-17 12:03:03 · 232 阅读 · 0 评论 -
自然语言处理学习笔记(十一)————简繁转换与拼音转换
事实上,汉字历史悠久,地域复杂,在字符级别存在“一简对多繁”和“一繁对多简”的情况。在词语级别上存在“简繁分歧词”,按字转换容易出错。eg:“头发”、“发财”对应的繁体字为“頭髮”和“發財”,这里的"发"就是一简对多繁。HanLP.convertToTraditionalChinese:简转繁。eg:“代码”,“代碼”,台湾称为“程式碼”,这就是“简繁分歧词”。用来执行字符正规化(繁体->简体,全角->半角,大写->小写)HanLP.s2tw:简转香港繁体。HanLP.s2hk:简转香港繁体。原创 2023-09-17 11:10:34 · 376 阅读 · 0 评论 -
自然语言处理学习笔记(十)———— 停用词过滤
汉语中有一类没有多少意义的词语,比如助词“的”、连词“以及”、副词“甚至”、语气词“吧”,称为停用词。停用词视具体任务的不同而不同,比如在网站系统中,一些非法的敏感词也视作停用词。因此,停用词过滤就是一个常见的预处理过程。在敏感词过滤的场景下,通常需要将敏感词替换为特殊字符串,如***,可以先分词在替换,也可以不分词直接利用接口查找敏感词并完成替换。分词结果:[停用,词,的,意义,相对而言,无关紧要,吧,。不分词去掉停用词:停用词**意义**无关紧要**。分词结果去掉停用词:[停用,词,意义,无关紧要]原创 2023-09-08 20:17:05 · 899 阅读 · 0 评论 -
自然语言处理学习笔记(九)———— OVV Recall Rate与 IV Recall Rate
IV指的是“登录词”(In Vocabulary),相应的IV Recall Rate 指的是词典中的词汇被正确召回的概率。连词典中的词汇都无法百分之百召回,说明词典分词的消歧能力不好。就算“商品”“和服”“服务”都在词典中,词典分词依然分不对“商品和服务”。OOV指的是“未登录词”(Out Of Vocabulary),或者俗称的“新词”,也即词典未收录的词汇。如何准确切分00V,乃至识别其语义,是整个NLP领域的核心难题之一。原创 2023-09-08 19:53:58 · 849 阅读 · 0 评论 -
自然语言处理学习笔记(八)———— 准确率
准确率是用来衡量一个系统的准确程度的值,可以理解为一系列评测指标。当预测与答案的数量相等时,准确率指的是系统做出正确判断的次数除以总的测试次数。在中文分词任务中,一般使用在标准数据集上词语级别的精确率、召回率与F1值来衡量分词器的准确程度。这三个术语借用自信息检索与分类问题,常用来衡量搜索引擎和分类器的准确程度。原创 2023-09-08 19:45:14 · 708 阅读 · 0 评论 -
自然语言处理学习笔记(七)————字典树效率改进
fail表保存的是状态间一对一的关系,存储状态转移失败后应当回退的最佳状态。举个例子:我们的模式串为“自然语言”,如果用字典树查询,以“自“为起点, 找到”自然语言“后,起点又退回到”然“继续扫描...如果扫描到”自然语言“的同时知道”然语言“、”语言“、”言”不在字典树中,则可以少查询三次,观察这三个字符串,它们共享递进式的后缀,所以可以引入后缀树。output 表中的元素有两种,一种是从初始状态到当前状态的路径本身对应的模式串(比如2号状态),另一种是路径的后缀所对应的模式串(比如5号状态)。原创 2023-08-24 12:30:21 · 1038 阅读 · 0 评论 -
自然语言处理学习笔记(六)————字典树
字符串集合常用字典树存储,这是一种字符串上的树形数据结构。字典树中每条边都对应一个字,从根节点往下的路径构成一个个字符串。字典树并不直接在节点上存储字符串,而是将词语视作根节点到某节点之间的一条路径,并在终点节点上做个标记"该节点对应词语的结尾".字符串就是一条路径,要查询一个单词,只需顺着这条路径从根节点往下走。如果能走到特殊标记的节点,则说明该字符串在集合中,否则说明不存在。一个典型的字典树如下图所示所示。其中,蓝色标记着该节点是一个词的结尾,数字是人为的编号。词语路径入门0-1-2自然。原创 2023-08-09 20:16:00 · 772 阅读 · 0 评论 -
自然语言处理学习笔记(五)————切分算法
完全切分的结果比较没有意义,我们更需要那种有意义的词语序列,而不是所有出现在词典中的单词所构成的链表。具体说来,就是在以某个下标为起点递增查词的过程中,优先输出更长的单词,这种规则被称为最长匹配算法。比较之后发现,双向最长匹配在2、3、5这3种情况下选择出了最好的结果,但在4号句子上选择了错误的结果,使得最终正确率3/6反而小于逆向最长匹配的4/6。第二句话就会产生误差了,我们是需要把“研究”提取出来,结果按照正向最长匹配算法就提取出了“研究生”,所以人们就想出了逆向最长匹配。['就读', '北京大学']原创 2023-08-06 15:47:31 · 1685 阅读 · 0 评论 -
自然语言处理学习笔记(一)————概论
而这些知识是计算机不拥有的。我们经常省略大量背景知识或常识,比如我们会对朋友说“老地方见” ,而不必指出“ 老地方” 在哪里。对于机构名称,我们经常使用简称,比如“工行” “地税局” ,假定对方熟悉该简称。自然语言中可能存在大量的歧义,而这些歧义在不同的语境下可能表现为不同的意思 ,而机器所处理的编程语言则不能具有任何歧义 ,有一点歧义就会导致代码的运行错误、编译错误。编程语言受到编译器的管理,不存在“错误”,而自然语言存在大量的“不规范”和“错误”,而我们人类基本都可以理解这些有一些小错误的文本的意思。原创 2023-07-31 20:32:06 · 1291 阅读 · 0 评论 -
自然语言处理学习笔记(三)————HanLP安装与使用
第一次使用pyhanlp时,会自动下载许多hanlp的jar包(包含许多算法)和数据包(包含许多模型)到pyhanlp的系统路径中,大约六百多兆。[你好/vl, ,/w, 欢迎/v, 进入/v, nlp/nx, 的/ude1, 世界/n]wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ {原创 2023-08-02 23:16:26 · 7735 阅读 · 0 评论 -
自然语言处理学习笔记(二)————语料库与开源工具
针对不同类型的任务,人们开发出许多标注软件,其中比较成熟的一款是 brat ( brat rapidannotation tool ),它支持词性标注、命名实体识别和句法分析等任务,brat是典型的B/S架构,服务端用Python编写,客户端运行于浏览器,相较于其他标注软件,brat最大的亮点是多人协同标注功能,此外,拖曳式的操作体验也为brat增色不少。它指的是人工标注了“ 所属分类 ”的文章构成的语料库。指的是对标注员的培训,由于人力资源的限制,制定规范与执行规范的未必是同一批人。原创 2023-08-02 00:16:26 · 1851 阅读 · 0 评论 -
自然语言处理学习笔记(四)————词典分词
在基于词典的中文分词中,词的定义要现实得多:词典中的字符串就是词。根据此定义,词典之外的字符串就不是词了。这个推论或许不符合读者的期望,但这就是词典分词故有的弱点。事实上,语言中的词汇数量是无穷的,无法用任何词典完整收录。原创 2023-08-03 23:46:42 · 1330 阅读 · 0 评论