![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deeplearning
文章平均质量分 67
ted.qu
这个作者很懒,什么都没留下…
展开
-
BERT 总结
BERT总结一、 rnn和cnn的局限性RNN的输入是一串vector sequence ,输出是另外一串vector sequence。如果是单向RNN,输出b4时候,会把a1到a4都看过,输出b3时候,会把a1到a3都看过。所以RNN存在的问题是不容易被平行化,即要算出b4,那么需要从a1依次看到a4才能算出。CNN的好处是可以平行化,缺点是每一个CNN只能考虑非常有限的内容,要叠加很多层才能看到长期资讯。CNN的特点是局部连接和权值共享。由输入层,卷积层,激活函数,池化层,全连接层组成。原创 2021-02-23 16:32:13 · 543 阅读 · 0 评论 -
bert模型加载失效问题
应用框架及资源版本:bert4keras; tensorflow-gpu==1.14问题描述:训练模型时每个epoch后的测试准确度都正常.但是加载模型单独跑测试集的时候发现准确率极低,像是模型并没有加载成功查看加载路径发现没有问题,模型也没有问题,github上也没什么解决方法,后来发现模型的最后两层name没有指定,训练和预测时候网络层name不一样,导致加载失败 def get_model(): model = build_transformer_mod原创 2020-11-16 16:36:44 · 797 阅读 · 0 评论 -
tensorflow2.0版本学习总结
此系列为初学tensorflow2.0版本的某些技术总结强化,不包含tensorflow2.0的全部内容tensorflow2.0一 基础在 TensorFlow 2.0 版本中,Eager Execution 模式为默认模式,无需额外调用tf.enable_eager_execution()函数(不过若要关闭 Eager Execution,则需调tf.compat.v1.disable_eager_execution()函数)tf普通迭代步骤1.从 DataLoader 中随机取一批训练数据原创 2020-09-23 13:57:46 · 237 阅读 · 0 评论 -
BERT分类提升准确率
在bert最后一层添加一层rnn会使分类效果更好下面代码基于bert4keras:例:model = build_transformer_model( self.config_path, None if is_predict else self.checkpoint_path, with_mlm=False, keep_tokens=self.data_deal.keep_tokens )原创 2020-09-17 18:11:32 · 2396 阅读 · 0 评论 -
数据平移滑动组合成新数据
本方法为了训练数据平移滑动组合成新数据.解决数据过长,训练不充分问题def test(): """ :input: data :return: [12,123,1234,12345,123456,23,234,2345,23456,34,345,3456,45,456,56] """ for i in range(len(data)): for j in range(i+2, len(data) + 1): pr原创 2020-07-17 16:24:22 · 175 阅读 · 1 评论 -
Flask里调用keras后报错The Session graph is empty.
问题说明:在外部直接调用keras程序不报错,会正常加载模型和权重.但是部署到flask里后就会报错,The Session graph is empty. Add operations to the graph before calling run().原因分析:我的开发环境为tensorflow-gpu-1.14由于直接运行模型不会报错,所以不应该是keras的配置问题.查了多方资料后看到多个解决办法,底层原因应为flask里的多线程调用会影响session里的图加载导致冲突:1,有人出原创 2020-07-17 09:58:45 · 337 阅读 · 0 评论