自然语言处理
文章平均质量分 95
momaojia
NLP菜鸡
展开
-
tensorflow实现给bert-crf不同层设置不同的学习率
前段时间看了苏神的文章,关于CRF层可能存在学习不充分问题,文章地址:https://kexue.fm/archives/7196,简而言之就是bert拟合能力太强,可以迅速的学习出字的标签分布,但是CRF部分和BERT没什么关系,前面的字标签已经学习的很好了,导致转移的矩阵的梯度会非常小。想到本人前段时间正好做的实体识别任务,有时候会存在标签乱序的现象,故把以前的代码CRF层中加入不同的...原创 2020-03-22 18:24:47 · 2590 阅读 · 1 评论 -
Ubuntu16.04安装 tensorflow-gpu CUDA9.0+cudnn 7.0
本篇适合第一次安装tensorflow-gpu的人,折腾了好久,一开始装了CUDA 10.1,发现tensorflow 1.13版本调用不起来GPU,后来看了官方的说明,CUDA10.1好像要2.0以上的tensorflow,所以放弃了CUDA10.1,装起了CUDA 9.0,以下为安装步骤 一、安装nvidia驱动 首先在终端 输入 nvidia-smi 如果有以下显示,说明驱动正常...原创 2020-02-22 10:31:09 · 436 阅读 · 2 评论 -
基于简单seq to seq 的聊天机器人+代码实现 (tensorfow 1.1版本)
一、seqto seq模型简介 基本Encoder-Decoder模型 输入的序列为['A','B', 'C', ''],输出序列为['W','X', 'Y', 'Z', ''] 二、tensorflow1.1seq2seq 接口 自从tensoflow1.0.0开始,开始出现新的seq2seq接口。新的接口主要采用动态展开,旧接口是动态展开的。 静态展开(static原创 2017-09-04 15:01:21 · 5045 阅读 · 1 评论