贾继康的博客

文章目录中文自动分词前言一、 what is 中文分词二、中文分词的用途三、中文分词的特点和难点四、常见的中文分词方法五、中文分词工具1、HanLP 中文分词A、 python调用hanlp进行中文分词2、 BosonNLP3、 语言云：4、 NLPIR5、 新浪云6、 搜狗分词7、 结巴分词8、 SCWS9、 腾讯文智10、盘古分词11、IKAnalyzer中文自动分词前言 &n...

文章目录一、前言二、分词算法2.1 规则分词2.1.1 正向最大匹配法2.1.2 逆向最大匹配法2.1.3 双向最大匹配法2.2 统计分词2.2.1 语言模型2.2.2 HMM模型2.3 混合分词三、中文分词工具四、参考链接一、前言        关于中文分词的介绍，之前已经详细的介绍过了，此篇博文的重点是介绍一些具体的分词方法。二、分词算法&nb...

文章目录jpype了解，获取，安装一、说明二、何为jpype三、获取jpype四、安装jpypejpype了解，获取，安装一、说明博主的操作环境是：       python3.6     

文章目录eclipse下配置HanPL一、说明二、资源获取1、hanlp jar包获取2、数据包获取eclipse下配置HanPL一、说明博主的配置1：window102：myeclipse3：jdk1.8二、资源获取1、hanlp jar包获取     &

文章目录论述自然语言处理的技术范畴(基本全貌) 一、前言二、主要技术范畴1、语音合成(Speech Synthesis)2、语音识别(Speech Recognition)3、中文自动分词4、词性标注5、句法分析7、文本分类7、文本挖掘8、信息抽取9、 问答系统10、机器翻译11、文本情感分析12、自动摘要13、文字蕴涵三、自然语言处理的难点论述自然语言处理的技术范畴(基本全貌) 一、前言&...

文章目录【自然语言处理】浅谈语料库前言一、浅谈语料库1、语料和语料库2、语料库语言学3、 建议语料库的意义二、语料库深入了解1、语料库划分与种类2、语料库构建原则3、语料标注的优缺点三、自然语言处理工具包：NLTK一、 了解NLTK二、获取NLTK【自然语言处理】浅谈语料库前言   

文章目录NLTK安装说明前言说明一、获取自然语言工具包二、安装自然语言工具包三、获取，安装NLTK数据包1、方式一2、方式二NLTK安装说明前言        NLTK（Natural language Toolkit）：自然语言工具包，Python 编程语言实现的统

文章目录论语言学知识点前言 说明一、语音1、 What is 语音？？？2、语音的三大属性物理属性生理属性社会属性3、 语音单位4、记音符号5、共时语流音变二、 词汇what is 词汇词汇单位1、语素2、 词3、固定短语4、缩略语词的构成1、单纯词：只由一个语素构成的词。2、合成词：由两个及以上语素构成的词，主要由以下几类词汇的构成词义及其分类1、什么是词义2、词义的分类义项与义素义项 义素语...

文章目录论统计学知识点前言一、 图形可视化说明具有哪些图形？二、数据度量标准三、概率分布四、统计假设检验五、相关和回归总结论统计学知识点前言         统计学在数据分析的基础上，研究如何测定，收集，整理，归纳和分析数据规律，以便给出正确消息的学科。它在数据挖掘，自然语言处理，机器学习中都被广泛使用...

文章目录使用 python计算各种距离前言一、余弦距离二、欧式距离三、哈曼顿距离四、明可夫斯基距离五 切比雪夫距离六 杰卡德距离使用 python计算各种距离前言     这里主要是学习使用python计算各个距离，分别如下所示余弦距离欧氏距离曼哈

文章目录词性标注规范前言北大词性标注集宾州词性标注集词性标注规范前言         词性标注在中文领域暂无统一的标注标准，最常见较为主流的是北大和宾州词性标注集。北大词性标注集词性编码词性名称注解Ag形语素形容词语素。形容词代码为a，语素代码为g前面置以Aa形容词取英语形...

规则与统计相结合的词义消岐方法研究学习笔记说明        

文章目录前言一、说明二、什么是PyTorch-Transformers三、安装PyTorch-Transformers3.1 命令：`pip install pytorch-transformers` 安装四、简单测试4.1 背景介绍4.2 案例测试一前言最近心事重重，寝不能安，夜也不能寐滴，外加慢性肠胃炎也开始作妖，于是乎早早醒来，恰逢老师微信推送，仔细一看，喔噢，这不是我早期关注过的嘛，仔...

文章目录一、前言二、 向量化算法word2vec2.1 引言2.2 word2vec原理2.3 词的表示三、神经网络语言模型四、C&W模型五、CBOW模型5.1 CBOW模型结构图5.2 CBOW的输入输出六、Skip-gram模型6.1 Skip-gram模型结构图6.2 Skip-gram模型输入输出七、向量化算法doc2vec/str2vec7.1 doc2vec模型八、文本向量化...