NLP
文章平均质量分 54
阳宗德
诚然,程序员应该重视代码,但眼里也不应该只有代码,很多代码之外的东西也很精彩。工作也是为了更好的生活,多看看身边的事,多关心身边的人,终究我们还是要回归到平凡的生活中。
我们所热爱的,就是自己的生活!
展开
-
jieba自定义字典全局生效
jieba自定义字典全局生效开发者可以指定自己自定义的词典,以便包含jieba词库里没有的词。虽然jieba有新词识别能力,但是自行添加新词可以保证更高的正确率。import jieba# 加载自定义词典 提高准确性 下面两种方式为临时生效jieba.load_userdict("./jiebaUserDict.txt")jieba.add_word("中保网盾", tag="n")全局生效办法:查找jieba字典库添加自定义字典清理缓存生效以ubuntu为例,其他同理:# 查原创 2021-10-28 16:59:51 · 654 阅读 · 0 评论 -
windows安装rasa
文章目录环境安装升级:环境实测windows平台仅python-3.7.4-amd64可成功安装rasa 、rasa x 和 spacy但 rasa使用 需安装 Microsoft Visual C++ 14.0 + , Visual Studio 2015+Visual Studio Community 2015 简体中文免费版镜像SHA1:1044F9F4E0EA1304AFECF6780BF599F1DA248DF8http://download.microsoft.com/downlo原创 2021-09-18 10:03:07 · 786 阅读 · 3 评论 -
fuzzywuzzy计算文本相似度
目录简介示例其他函数加速简介fuzzywuzzy 是用来计算两个字符串之间的相似度的,它是依据Levenshtein Distance算法来进行计算的。Levenshtein Distance算法,又叫 Edit Distance算法,是指两个字符串之间,由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。一般来说,编辑距离越小,两个串的相似度越高。示例from fuzzywuzzy import fuzz# 调用fuzz.ra原创 2021-08-31 14:11:49 · 2192 阅读 · 0 评论 -
spacy训练模型和更新
文章目录模型训练模型更新训练训练数据格式模型训练初始化模型权重使其变成随机值:调用nlp.begin_training方法;查看当前权重的表现:调用nlp.update方法比较预测结果和真实的标签;计算如何调整权重来改善预测结果;微调模型权重;重复上述步骤;循环训练:for i in range(10): random.shuffle(TRAINING_DATA) for batch in spacy.util.minibatch(TRAINING_DATA原创 2021-08-19 09:01:42 · 1214 阅读 · 1 评论 -
rasa填槽slot
文章目录参考地址nul.ymlstories.ymldomain.yml供参考的config.yml效果参考地址官网stories说明官网forms说明nul.ymlversion: '2.0'nlu: - intent: greet examples: | - 你好[小智](PERSON) - 你好啊[小智](PERSON) - 早上好[小智](PERSON) - 晚上好[小智](PERSON) - hello[小智]原创 2021-08-17 11:30:06 · 1355 阅读 · 1 评论 -
rasa实现同义词替换
说明rasa支持意图识别后,自动替换近义词,官网说明:https://rasa.com/docs/rasa/components#entitysynonymmapper同义词替换需要实体识别组件,如Spacy等,SPacy见我的文章配置language: "zh"pipeline: - name: SpacyNLP model: "zh_core_web_sm" ............... - name: EntitySynonymMapper添加同义词映射vers原创 2021-08-16 14:20:37 · 1078 阅读 · 0 评论 -
rasa安装spaCy
rasa nlp 组件Rasa官方提供了多种Language Models的组件引入,包括:MitieNLPSpacyNLPHFTransformersNLP组件说明见,地址:https://rasa.com/docs/rasa/componentsSpacy提供的安装说明,如下:pip install -U pip setuptools wheelpip install -U spacypython -m spacy download en_core_web_sm详见官网地址:h原创 2021-08-16 12:16:06 · 905 阅读 · 0 评论 -
ubuntu安装rasa
文章目录ubuntu安装rasa安装环境要求环境安装pythonrasaubuntu安装rasa参考地址安装环境要求ubuntu-18.04.5Python 3.6.9pip 21.2.2环境安装pythonubuntu18安装步骤略# 安装python3.7sudo apt install python3.7# 查看python版本python3 -V# 安装pip3sudo apt install python3-pip# 更新pip3python3 -m pi原创 2021-08-04 15:43:22 · 1143 阅读 · 0 评论