古月哲亭

转载 基于知识图谱的智能问答方案

基于知识图谱的智能问答方案：https://cloud.tencent.com/developer/article/1661504 基于知识图谱的智能问答方案 2020-07-142020-07-14 15:57:50阅读 9950三个角度理解知识图谱2012年谷歌首次提出“知识图谱”这个词，由此知识图谱在工业界也出现得越来越多，对于知识图谱以及相关概念的理解确实也是比较绕。自己在研究大数据独角兽Palantir之后开始接触知识图谱，也算对其有了一定了解，这里从三个角度总结一下怎么去理解知识图谱。几个基本

原创 Day03『NLP打卡营』实践课3：使用预训练模型实现快递单信息抽取

Day03 词法分析作业辅导本教程旨在辅导同学如何完成 AI Studio课程——『NLP打卡营』实践课3：使用预训练模型实现快递单信息抽取课后作业。1. 更换预训练模型在PaddleNLP Transformer API查询PaddleNLP所支持的Transformer预训练模型。选择其中一个模型，如bert-base-chinese，只需将代码中的from paddlenlp.transformers import ErnieTokenizer, ErnieForTokenClassific

原创 day01『NLP打卡营』实践课1：词向量应用演示

Day01 词向量作业辅导本教程旨在辅导同学如何完成 AI Studio课程——『NLP打卡营』实践课1：词向量应用展示课后作业。1. 选择词向量预训练模型在PaddleNLP 中文Embedding模型查询PaddleNLP所支持的中文预训练模型。选择其中一个模型，如中文维基百科语料中的w2v.wiki.target.word-word.dim300。2. 更换TokenEmbedding预训练模型使用新模型（如w2v.wiki.target.word-word.dim300）替换红色框中的

原创 NLP 综述的综述

NLP 综述的综述：https://mp.weixin.qq.com/s/3DvXDLFQJnIrXFWVGowTjw

原创 新词发现源代码

Skip to content Search or jump to…Pull requestsIssuesMarketplaceExplore @ht281358490 blmoistawinde/HarvestText401.1k198CodeIssues10Pull requestsActionsProjectsWikiSecurityInsightsHarvestText/harvesttext/word_discover.py /@blmoist

原创 字典树介绍

方法介绍1.1、什么是Trie树Trie树，即字典树，又称单词查找树或键树，是一种树形结构。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是最大限度地减少无谓的字符串比较，查询效率比较高。Trie的核心思想是空间换时间，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。它有3个基本性质：根节点不包含字符，除根节点外每一个节点都只包含一个字符。从根节点到某一节点，路径上经过的字符连接起来，为该节点对应的字符串。每个节点的所有

原创 对话意图识别+开放域对话系统小记

槽函数_意图识别和槽填充

转载 新词发现简介

原文链接：https://blog.csdn.net/weixin_43378396/article/details/103848628 新词发现是 NLP 的基础任务之一，通过对已有语料进行挖掘，从中识别出新词。新词发现也可称为未登录词识别，严格来讲，新词是指随时代发展而新出现或旧

原创 百度任务型对话系统小记

意图扩展阅读：古月哲亭:AAAI 2021 | 清华提出深度对齐聚类用于新意图发现：https://mp.weixin.qq.com/s/9dNs8TTERPdxmrVc3tF1zw 相关项目地址：https://github.com/thuiar/OKD-Reading-List古月哲亭:意图知识图谱的构建与应用：https://mp.weixin.qq.com/s/aolSP8HGWz2yMWHbkc76OQ 这篇文章讨论了通过意图知识图谱去做一些政府治理的工作。...

原创 百度机器同传技术及应用小记

转载 文本纠错pycorrector

原文链接：https://blog.csdn.net/javastart/article/details/107428483 这一段时间再研究身份证和面单识别项目，总发现一些识别准确率问题，在想办法提高识别率，突然看了一篇文字纠错方面资料，可以发现与ocr结合。开始收集纠错方面的框架，感觉网上评价pycorrector 这个项目不错。 pycorrector 中文文本纠错工具。音似、形似错字（或变体字）纠正，可

原创 ImportError: libSM.so.6: cannot open shared object file: No such file or dir

ImportError: libSM.so.6: cannot open shared object file: No such file or dir出现错误：ImportError: libSM.so.6: cannot open shared object file: No such file or dir解决方法：apt-get install libsm6如果你出现了上面的错误，那你很大概率也会遇到下面的问题，类似的， ImportError: libXrender.so.1: c

原创 ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory

apt-get updateapt-get install libglib2.0-dev系统：ubuntu16.04

原创 安装kenlm出现问题的解决方案gcc g++

安装kenlm出现问题的解决方案apt-get install gccapt-get install g++参考文章：gcc: error trying to exec ‘cc1plus’: execvp: No such file or directory

原创 机器翻译小记

神经网络翻译面临的挑战

原创 Windows上pip install kenlm报错解决

Windows上pip install kenlm报错解决解决办法1：一般在windows上安装kenlm会遇到与Microsoft Visual C++ 14.0 is required相关的问题。本人尝试过很多其他人写的方法，要么是没有用，要么是写的不够仔细。好了，直奔主题。1、安装Microsoft Visual C++ 14.0及配置好环境参考另一篇博文：安装 Microsoft Visual C++ 14.02、安装kenlmpip install pypi-kenlm尝试过pip

原创 中文纠错（Chinese Spelling Correct）最新技术方案总结

中文纠错（Chinese Spelling Correct）最新技术方案总结https://blog.csdn.net/BGoodHabit/article/details/114589007

原创 MindSpore小笔记

原创 知识图谱简介

01 什么是知识图谱我们可以从不同的视角去审视知识图谱的概念。在Web视角下，知识图谱如同简单文本之间的超链接一样，通过建立数据之间的语义链接，支持语义搜索。在自然语言处理视角下，知识图谱就是从文本中抽取语义和结构化的数据。在知识表示视角下，知识图谱是采用计算机符号表示和处理知识的方法。在人工智能视角下，知识图谱是利用知识库来辅助理解人类语言的工具。在数据库视角下，知识图谱是利用图的方式去存储知识的方法。目前，学术界还没有给知识图谱一个统一的定义。在谷歌发布的文档中有明确的描述，知识图谱是一种

转载 详解：多模态知识图谱种类及其应用

详解：多模态知识图谱种类及其应用本文系统的讲述了一些关于多模态知识图谱的相关知识，作者介绍了一些重要的开源多模态知识图谱，基于百科多模态知识图谱Richpedia以及相关使用网站和多模态知识图谱的应用。>>加入极市CV技术交流群，走在计算机视觉的最前沿知识图谱技术已经被广泛用于处理结构化数据（采用本体+D2R技术）和文本数据（采用文本信息抽取技术），但是还有一类非结构化数据，即视觉数据，则相对关注度较低，而且相缺乏有效的技术手段来从这些数据中提取结构化知识。最近几年，虽然有一些多模态视觉技术

转载 【论文翻译】HeteSim：异构网络中相关性度量的通用框架

原文链接：https://blog.csdn.net/Mrong1013967/article/details/115330139 HeteSim：异构网络中相关性度量的通用框架 摘要 相似性搜索是许多应用中的一个重要功能，它通常侧重于度量同一类型对象之间的相似性。然而，在许多场景中，我们需要测量具有不同类型的对象之间的相关性。随着异构网络研究的兴起，对不同类型对象的相关性度量变得越来越重要。本文研究了异构网络中的相关搜索问题，其任务是度量异构对象（包括具有相同

转载 python基础

原文链接：https://aistudio.baidu.com/aistudio/projectdetail/2052790Python基础在深度学习中，我们经常会看到很多demo是用Python来写的，Python也确实越来越火了，除了demo以外，目前主流的深度学习框架都支持Python，大家可以很方便的用Python来编程。在这一节课中我会教大家从基础的语法开始入手，学习Python的常用命令。本节课一共有七个小节，最后一节是一个小测验，测试大家对Python的掌握情况~下面让我们来开始学习吧~

转载 什么是深度学习

原文链接：https://aistudio.baidu.com/aistudio/projectdetail/2052554什么是深度学习？大家好，欢迎来到新手入门课程，在这里我会带领大家从一个完全不懂深度学习的小白，通过学习本课程后，能够了解基本的深度学习概念，熟悉必备的数序基础知识，学会常见的编程工具Python，并掌握实用的深度学习框架PaddlePaddle。可能看到本课程的你并不了解什么是深度学习，那么就让我们从第一课开始把——什么是深度学习？一、深度学习的发展历程1.1 Turing

原创 交互式调试器

import pdbpdb.set_trace()

原创 修改安装路径 pip 以及修改运行路径

持久化安装如果需要进行持久化安装, 需要使用持久化路径, 如下方代码示例:!mkdir /home/aistudio/external-libraries!pip install beautifulsoup4 -t /home/aistudio/external-libraries同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可:import syssys.path.append('/home/aistudio/external-libraries')...

原创 容器中用uwsgi协议部署注意的问题以及用flask部署

1 表示当前容器名一般通过 docker exec -it 容器名 /bin/bash , 进入容器内部进行操作，比如安装环境，传输文件2 4888 容器内部访问端口地址，如果对外开放api，需要对其进行映射，比如映射成11022,11022是对外访问的端口号。docker run -it -d --name=‘自定义’ -p 11022:4888 镜像名:对应的镜像tag3 如果是uwsgi部署，需要写第三行，其余两行注释掉，其中不写访问的端口，ini文件需要写明，与启动容器映射端口号保持.

原创 业界大盘点！文本相关性在搜广推三大场景中的应用！

业界大盘点！文本相关性在搜广推三大场景中的应用！:https://mp.weixin.qq.com/s/kYou_ikuNPr4PsWbJpDKYw

原创 PyCharm设置中文使用官方自带的汉化包

file->setting->plugins->chinese simplified可参考：https://blog.csdn.net/qq_36513794/article/details/111713663