自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 tensorflow bug

1 ValueError: An initializer for variable kernel of type <dtype: 'string'> is检查下word embedding的dtype,看是否是float32

2020-08-07 14:51:43 4

转载 零次学习(zero-shot learning)基本概念

零次学习(zero-shot learning)基本概念每次在实验室做工作汇报的时候,总会把ZSL的基本概念讲一遍,但是每次的效果都不是很好,工作都讲完了,提的第一个问题依然是:ZSL到底是什么?这让我一度认为我的表达能力有问题。。。。。。不过回忆起我第一次接触这个题目的时候,也花了挺长的时间才搞清楚到底在做一件什么事情,那篇入门的文章[1]看了很久才基本看懂。因此,我尽量用最简单的,不带任何公式的方式来讲一下这到底是个什么问题。假设小暗(纯粹因为不想用小明)和爸爸,到了动物园,看到了马,然后爸爸告

2020-05-28 19:37:53 74

原创 kbqa论文集合

https://github.com/BshoterJ/awesome-kgqa

2020-05-15 14:28:08 86

转载 tensorflwow pytorch 控制gpu使用量指令

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)TensorFlow设置GPU占用量:https://www.cnblogs.com/jiu0821/p/9501665.html1 pytorch设置GPU占用量的指令是哪个?(未解决,)是这个p['momentum'] =0.9么?不是,这个是动量帮助训...

2020-04-05 16:35:29 255

原创 OIE

https://openie.allenai.org/https://www.jianshu.com/p/a1994336af2dhttps://meta-guide.com/data-processing/etl/open-information-extraction

2020-03-29 19:50:30 61

转载 Self-Attention概念详解

一、Self-Attention概念详解Self-Attention详解了解了模型大致原理,我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下对于self-attention来讲,Q(Query), K(Key), V(Value)三个矩阵均来自同一输入,首先我们要计算Q与K之间的点乘,然后为了防止其结果过大,会除以一个尺度标度,其中为一...

2020-03-15 17:04:52 330

转载 GCN

图卷积网络(Graph Convolutional networks, GCN) 简述1 背景卷积神经网络(CNN)的输入是图片等具有欧几里得结构的图结构,也就是这样的图:这样的“图”并不是广义上的“图”。我们经常需要提取广义的具有点和边的图的特征:2 问题描述我们的目标是提取出这种广义图结构的特征,进而完成一些任务,如标签补全等。3 解决思路在问题描述中我...

2020-02-13 22:05:39 176

原创 集中模型公式速查

1 lstm2 GCN,其中A为图的邻接矩阵

2020-02-13 21:58:11 25

原创 匹配相关资源

https://nlp.stanford.edu/projects/snli/https://github.com/RaRe-Technologies/gensim-data/issues/32

2020-01-21 17:12:30 53

转载 treelstm

导读我们一步一步来。先说最基础的RNN结构:公式为:就一个简单的隐层h。但是RNN的缺点是会有梯度爆炸或者梯度消失问题。这里我就不详细解释了。下面推荐阅读有我之前的RNN,LSTM详细讲解,想更深一步了解的可以去看看。因为这个致命的问题,有人提出了LSTM网络,改善了RNN的缺点,我们来回顾下:重新添加了输入门i,输出门o,遗忘门f和记忆单元C,外加之前的一个隐层h(...

2020-01-10 17:18:15 331

原创 tensorflow loss为nan 梯度截断

global_step = tf.Variable(0, trainable=False)learning_rate = tf.train.exponential_decay(config.base_learning_rate, global_step, decay_steps=config.decay_st...

2019-12-10 23:49:38 64

原创 bot相关NLP任务

https://gitee.com/wwfcoder/nlp_xiaojiang

2019-12-09 10:50:01 34

原创 tensorflow model转为pb文件以及python调用

1 模型转pb# coding=utf-8from tensorflow.contrib.saved_model.python.saved_model.utils import simple_savefrom options import Optionsfrom data_provider import *from collections import Counter, defau...

2019-09-05 22:07:34 1014 2

原创 maven install时跳过test

1、方法在maven install打包时,默认会执行测试方法,如果测试失败则打包失败,所以在打包时可以跳过测试。共有两种方法:(1)命令方式mvn install -Dmaven.test.skip = true(2)配置文件方式在maven构建包依赖配置文件pom.xml的project元素中添加jar包maven-surefire-plugin,并配置。<build&g...

2019-08-13 15:30:48 845

原创 tensorflow不安装高版本的cuda

conda install -n ziji_py3 tensorflow-gpu=1.4.1 cudatoolkit=8.0saved_model_cli show --dir 1556175193/ --tag_set serve --signature_def serving_default查看cude版本/usr/local/cuda/lib64/

2019-06-13 22:08:56 357

原创 pycharm使用虚拟环境中的环境

需要再点进去/bin/python或者python3

2019-05-20 12:27:50 462

原创 python常用

1 字符串中加空格" ".join(list(user_q))2 dic转jsonhjson = json.dumps(stand_q_dic, ensure_ascii=False)单引号变双引号hhjson = json.dumps(hjson, separators=(',', ':'), ensure_ascii=False)3 str转jsonstring...

2019-05-16 20:22:53 209

转载 使用google colab运行RNN网络代码报告错误"ValueError: Object arrays cannot be loaded when allow_pickle=False"

原因是numpy版本太高,降低其版本即可,我是降numpy降到1.13.1使用RNN网络训练IMDB数据集,因本地机器运算速度过慢而选择google colab,代码(train_data,train_labels),(test_data,test_labels) = imdb.load_data(num_words = 10000)时出现错误错误名为:ValueError: Obje...

2019-05-09 13:47:30 189

原创 安装anocada之后找不到conda命令

1 权限chmod 777https://blog.csdn.net/weixin_34128237/article/details/870107232 添加到bashrc中https://blog.csdn.net/qq_24032231/article/details/839890733 到conda所在的位置./conda而不仅仅是condahttps://www...

2019-05-08 22:23:32 1124

原创 keras2tensorflow

keras模型文件转化为tensorflow的pb文件,然后java调用from keras.models import load_modelfrom keras import backend as Kfrom keras.models import model_from_configimport tensorflow as tfmodel = load_model('mode...

2019-05-07 11:18:06 283

原创 句法分析方法transation based dependency parsing和graph based parsing

句法分析的几种主要方法:Deterministic parsing(specifically : Transition-based parsing)Dynamic programming(specifically : Graph-based parsing)Constraint satisfaction1 什么是Transition-based基于转移的框架?(1)队列I存放句...

2019-04-24 20:45:25 502

转载 自然语言的语句几种表示方法

(1)Phrase structure(2)Dependency structureSyntactic Dependency Parsing:树,可以是交叉也可以不交叉projrctivity,non-projectivitySemantic Dependency Parsing(3)Frame semantics(SRL)1.Phrase structure(句法结构):...

2019-04-24 20:15:52 455

原创 conda命令

1 conda list2 conda uninstall3添加Anaconda的TUNA镜像 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/设置搜索时显示通道地址 conda config --set show_channel_urls ye...

2019-04-22 15:53:42 350

原创 tensorflow环境安装和指定镜像

GPU环境配置安装tensorflow1.下载Anaconda并安装,https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda2-4.4.0-Linux-x86_64.sh2.增加清华大学开源软件镜像站Anaconda仓库的镜像,提高package安装效率,运行以下命令:pip install -i https:...

2019-04-22 11:43:15 1962

原创 brat自然语言标注工具安装和配置

1 下载安装文件安装apache:sudo apt install apache2下载brathttp://brat.nlplab.org/http://brat.nlplab.org/installation.html#placing_data2 解压之后安装./install.sh -u3 运行python standalone.py启动成功之后就可以从浏览器进入了h...

2019-04-04 11:54:12 1291

转载 斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第六课 依存句法分析

课程概要1、句法结构:成分句法、依存句法2、依存语法3、 Transition-based依存句法分析4、神经网络的依存句法分析一、句法结构:成分句法、依存句法参考斯坦福大学-自然语言处理入门 笔记 第十三课 统计语言句法分析(prasing)二、依存语法参考斯坦福大学-自然语言处理入门 笔记 第十六课 依存句法分析(Dependency Parsing)第一节三、T...

2019-04-01 11:13:35 93

原创 keras中结合使用tensorflow,加载保存的模型时注意点

from data_provider import load_dataimport tensorflow as tfmodel = load_model('xxx.model', custom_objects={'tf': tf})注意上面加载模型的时候一定要有custom_objects={'tf': tf},要不然会报如下的错误NameError: name 'tf' is no...

2019-03-04 20:54:32 423

转载 优质中文NLP资源集合

今天要给大家在推荐 Github 上一个优质的中文 NLP 工具和资源集合项目——funNLP,已经获得了 5.3k Stars,1k+ Forks。项目作者 杨洋,一枚水博&互联网民工,目前主要从事文本分类,信息抽取等自然语言处理研发工作;兴趣包括:语言资源构建、信息抽取与知识图谱、舆情分析等。喜欢分享一些小知识,设有知乎专栏《机器学习小知识》作者把自己使用的一些...

2019-03-04 10:10:15 918

原创 结巴分词加字典分词词性标注

1 代码import jiebaimport jieba.posseg as psegjieba.load_userdict("data/entity_noun_dic.txt")jieba.add_word(word="重置", tag="v")jieba.del_word("送别") jieba.del_word("人流量")result = pseg.cut("请问光猫登陆密码是..

2019-02-16 17:12:41 1360

原创 5w1h判断关键词

TYPE_HOW 怎么办 怎办 怎么弄 怎么整 怎么处理 如何 肿么办 如何是好 咋办 步骤是什么 什么步骤 什么方式 什么办法 办法是什么 怎么 需要做什么
TYPE_WHAT 是什么 是啥 指什么 什么意思 啥意思 什么是 什么叫 什么叫做 什么叫作 什么情况 是干什么的 是做什么的 是干啥的 可以做什么 定义 介绍 简介 有什么 需要什么
TYPE_WHY 为什么 为了什么 怎么回事...

2019-02-15 19:55:47 166

转载 OSError: `pydot` failed to call GraphViz

OSError: `pydot` failed to call GraphViz转自https://www.jianshu.com/p/ef4f74fd526eLinux 系统sudo apt-get install graphvizMacbrew install graphviz

2019-02-02 19:58:56 322

转载 learning to rank pairwise_LambdaRank

目前常用的还是pairwise方法,其中主流的算法:GBRank、LambdaRank,其中LambdaRank增加了Listwise的指标。判断搜索结果好坏,通常是把搜索结果按效果分为几类,如可以分为5类:bad差、fair一般、good好、excellent非常好、perfect完美,然后通过计算DCG、NDCG指标来评估。Pairwise方法中的LambdaRank方法就是直接计算梯度来优化...

2019-02-01 16:05:42 312

转载 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高的评价吗?我个人判断是值得。那为什么会有这么高的评价呢?是因为它有重大的理论或者模型创新吗?其实并没有,从模型创新角度看一般,创新不算大。但是架不住效果太好了,基本刷新了很多NLP的任务的最好性能,有些任务还被刷爆了,这个才是关键。另外一点是Bert具备广泛的通用性,就是说绝大部分NLP任务都可以采用类似的两阶段模...

2019-01-21 14:04:27 129

原创 word2vec原理和代码介绍

就是随机生成一个[1,M-1]的数字,然后通过上图中的下方映射到上面的单词w。https://blog.csdn.net/itplus/article/details/37998797http://www.cnblogs.com/neopenx/p/4571996.html...

2019-01-18 11:58:15 105

转载 对偶问题

1.原始问题假设是定义在上的连续可微函数(为什么要求连续可微呢,后面再说,这里不用多想),考虑约束最优化问题:称为约束最优化问题的原始问题。现在如果不考虑约束条件,原始问题就是:因为假设其连续可微,利用高中的知识,对求导数,然后令导数为0,就可解出最优解,很easy. 那么,问题来了(呵呵。。。),偏偏有约束条件,好烦啊,要是能想办法把约束条件去掉就好了,bingo! ...

2019-01-15 10:37:07 11886 4

转载 SVM相关知识点

SVM目录索引线性可分 SVM:硬间隔最大化https://blog.csdn.net/weixin_37352167/article/details/85541583#_73线性 SVM:软间隔最大化https://blog.csdn.net/weixin_37352167/article/details/85563158非线性 SVM:核技巧 Φ(x)⋅Φ(z)=K(x,...

2019-01-15 10:28:33 80

原创 Kmeans

kmeans的过程大家应该很清楚了,就不详细介绍了。其是通过引入隐变量,使用EM算法求解。1 Kmeans的收敛性:Kmeans是收敛的,但是不一定是极大值。2 因为Kmeans是通过EM算法,迭代的方式求解的,所以每次迭代的结果可以看成是数列中一个元素,这样就可以看成是求数列的收敛性。注意区分像逻辑斯蒂回归这样的算法,其是通过拉格朗日的方法求极值,不是迭代的方法。数列收敛:单调递...

2019-01-09 11:40:09 85 1

原创 bert代码解析

http://www.manongjc.com/article/30232.htmlhttps://daiwk.github.io/posts/nlp-bert-code-annotated-framework.html#get-pooled-outputhttps://blog.csdn.net/weixin_39470744/article/details/84401339模型构建...

2019-01-08 20:08:42 1701

转载 基于深度学习的FAQ检索式问答系统

问答系统是信息检索的一种高级形式,能够更加准确地理解用户用自然语言提出的问题,并通过检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案。相较于搜索引擎,问答系统能更好地理解用户提问的真实意图, 进一步能更有效地满足用户的信息需求。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。一、引言       问答系统处理的对象主要包括用户的问题以及答案。根据...

2019-01-07 18:10:56 7797 1

转载 数据结构算法题/二叉树中两个节点的最近公共父节点

这个问题可以分为三种情况来考虑:情况一:root未知,但是每个节点都有parent指针此时可以分别从两个节点开始,沿着parent指针走向根节点,得到两个链表,然后求两个链表的第一个公共节点,这个方法很简单,不需要详细解释的。情况二:节点只有左、右指针,没有parent指针,root已知思路:有两种情况,一是要找的这两个节点(a, b),在要遍历的节点(root)的两侧,那么这个节点就是...

2018-12-25 15:33:33 413

提示
确定要删除当前文章?
取消 删除