自然语言处理
文章平均质量分 93
香港胖仔
LiaoNing Technical University Information and Compute Science
展开
-
150、机器阅读理解dureader-bert
机器阅读理解很有可能成为人机问答中的主力技术,目前FAQ大多使用的是语义匹配模型,该模型需要进行很多的人工标注,成本较高。与语义匹配模型相比,机器阅读理解可以减少人工标注的数量,降低成本。同时可以对未知问题自动寻找QA对。减少人工寻找答案的困难。本文的机器阅读理解模型主要包含以下5个步骤:1、根据F1-score寻找相关段落:通过计算query和候选段落的F1-score的匹配程度。在一篇文档中找出最相关的三个段落。2、根据F1-score寻找答案模块:根据F1-score在最相关的三个原创 2021-12-23 15:35:32 · 1184 阅读 · 0 评论 -
kaldi aishell1语音识别
最近就会一直哭,坐地铁也会哭,中午吃饭也会哭。我真的好难过。下面来讲一讲kaldi的语音识别,使用aishell1的15GB的语音数据1、首先要下载kaldi的语音识别库git clonehttps://github.com/kaldi-asr/kaldi.git然后进入到tools文件夹下面安装依赖包cd tools.extras/check_dependencies.shcheck_dependencies.sh之后会提示相关的命令,让你去安装相关的包。安装完后再执行.原创 2020-10-21 07:05:01 · 2037 阅读 · 2 评论 -
103、微调bert 模型
自从老大离职去了Oracle之后,就一直觉得找不到组织了。老大在的时候真的觉得有什么新的想法可以和老大说,然后老大会权衡利弊。然后如果可行真的会让我们付诸实际行动的。然而老大离职之后,感觉没有领导了。只能自己漫无目的的工作了。下面转到正题,在Azure K80 深度学习主机上面微调bert模型1、下载cuda9.0的驱动,因为BERT模型需要的tensorflow-gp...原创 2019-03-31 08:23:47 · 4889 阅读 · 5 评论 -
103、rasa_nlu 集成tf.estimator 做分类器 tf.data 做ETL部分,
最近一直在看tf dev summit 2018 , tf dev summit 2019人家说一个东西从无到有刚开始可能有些神奇,比较好发展。但当时间一长的时候,再能把它做好就不容易啦今天就来介绍一下tensorflow 的一些高级api,并且结合rasa_nlu 实际操作一下,构建一个分类器学习一下tf高级API的用法。主要使用的组件有tf.estimator : (1) ...原创 2019-03-25 13:44:31 · 856 阅读 · 0 评论 -
102、bert词向量进行文本分类和命名实体识别
最近一年来一直在从事语言助手的开发,和自然语言处理方面的工作最近刚出来效果最好的模型是bert的动态词向量,刷新了各个自然语言处理Task的成绩如QA,NER,CLASSIFICATION等接下来就让我们实际来构建一个以bert为后端词向量的文本分类模型1、首先安装腾讯开源的Bert-as-service模块pip install bert-serving-serverpip ...原创 2019-03-10 01:05:40 · 4536 阅读 · 4 评论 -
95、自然语言处理svd词向量
import numpy as npimport matplotlib.pyplot as pltla = np.linalgwords = ["I","like","enjoy","deep","learning","NLP","flying","."]X = np.array([[0,2,1,0,0,0,0,0], [2,0,0,1,0,1,0,0],原创 2017-10-13 11:14:41 · 1372 阅读 · 0 评论 -
cs224d 作业 problem set2 (三) 用RNNLM模型实现Language Model,来预测下一个单词的出现
今天将的还是cs224d 的problem set2 的第三部分习题,原来国外大学的系统难度真的如此之大,相比之下还是默默地再天朝继续搬砖吧下面讲述一下RNN语言建模的数学公式: 给出一串连续的词x1,x2...xt关于预测其后面紧跟的词xt+1的建模方式是:vj是词库中的某个词。实现一个循环神经网络,此网络利用隐层中的反馈信息对"历史记录"x1,x2...xt进行建模:$h转载 2017-10-13 11:15:01 · 817 阅读 · 0 评论 -
89、tensorflow使用GPU并行计算
'''Created on May 25, 2017@author: p0079482'''# 分布式深度学习模型训练模式# 在一台机器的多个GPU上并行训练深度学习模型from datetime import datetimeimport osimport timeimport tensorflow as tfimport mnist_inference# 定义训练神原创 2017-10-13 11:14:12 · 1531 阅读 · 2 评论 -
cs224d 作业 problem set1 (一) 主要是实现word2vector模型,SGD,CBOW,Softmax,算法
'''Created on 2017年9月13日@author: weizhen'''import numpy as npdef sigmoid(x): return 1 / (1 + np.exp(-x))首先上来的是最简单的sigmoid激励函数,至于为什么选他做激励函数,1、因为这个函数能将定义域为(-inf,+inf)的值映射到(0,1)区间转载 2017-10-14 21:26:51 · 1379 阅读 · 0 评论 -
51、tf-idf值提取关键词
import testWord2vec2 as twimport tensorflow_util as tuimport numpy as npmodel = tw.load_model()namelist = tw.loadNameList()import jiebanamelist1 = []for name in namelist: seg_list = jieba.c原创 2017-10-13 11:11:24 · 3306 阅读 · 0 评论