- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 深度学习概率输出
字段名翻译取出概率数字识别,简单网络取出概率output = model(data) total=output.sum() fenbu=output/total fenbu=fenbu.tolist() maxprob=sorted(fenbu[0],reverse=True) maxprob=round(maxprob[0],2) pred = outp
2020-05-29 16:36:00
1166
转载 DynaBERT和fastbert bert 速度提升
神经网络模型除了部署在远程服务器之外，也会部署在手机、音响等智能硬件上。比如在自动驾驶的场景下，大部分模型都得放在车上的终端里，不然荒山野岭没有网的时候就尴尬了。对于BERT这类大模型来说，也有部署在终端的需求，但考虑到设备的运算速度和内存大小，是没法部署完整版的，必须对模型进行瘦身压缩。说到模型压缩，常用的方法有以下几种：量化：用FP16或者INT8代替模型参数，一是占用了更少内存，二是接近成倍地提升了计算速度。目前FP16已经很常用了，INT8由于涉及到更多的精度损失还没普及。低轶近似／权重共享：低轶近
2020-05-27 23:39:19
438
转载 bert推理速度太慢如何解决
思路借鉴：https://blog.csdn.net/hezhefly/article/details/98877796，再次表示感谢本文的用途是基于bert的表征向量的生成基于上面的文章的分类预测思路，修改成了基于bert 的表征向量生成，其中表征向量以最后一层CLS的向量表示，也可以取最后一层的所有token的平均，或者取倒数第二层的所有tokens的平均(倒数第二层不那么接近任务，但是又能学习到句子的较高层的...
2020-05-27 16:05:07
3507
转载 集束搜索
看计算机科学中最重要的32个算法，其中有个是集束搜索（又名定向搜索，Beam Search）——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过，集束搜索只能在每个深度中发现前m个最符合条件的节点，m是固定数字——集束的宽度。泛泛的介绍，不是很能理解清楚，于是有百度又google，写篇东西备忘。先贴维基百科的地址：Beam Sea...
2020-05-22 14:40:15
1650
转载 fastbert解读
自从BERT问世以来，大多数NLP任务的效果都有了一次质的飞跃。BERT Large在GLUE test上甚至提升了7个点之多。但BERT同时也开启了模型的“做大做深”之路，普通玩家根本训不起，高端玩家虽然训得起但也不一定用得起。所以BERT之后的发展也比较清晰，一部分壕大佬们继续搞预训练提升效果，当你对BERT Large望而却步的时候，又出了GPT2，又双出了威震天Megatron-LM，又双叒出了T5，又双叒叕出了DeepSpeed。。。每次都是照着一个数量级去加，剩下的人只能默默观望，翻翻《如何优.
2020-05-21 15:50:32
978
3
转载 显卡不够时,如何训练大型网络
<section style="font-size: 16px;white-space: normal;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);box-sizing: border-box;" data-mpa-powered-by="yiban.io"><section style="box-sizing: border-box;font-size: 16px;"><section styl...
2020-05-21 13:48:29
1700
转载 bert速度提升fastbert
FastBERT自从BERT问世以来，大多数NLP任务的效果都有了一次质的飞跃。BERT Large在GLUE test上甚至提升了7个点之多。但BERT同时也开启了模型的“做大做深”之路，普通玩家根本训不起，高端玩家虽然训得起但也不一定用得起。所以BERT之后的发展也比较清晰，一部分壕大佬们继续搞预训练提升效果，当你对BERT Large望而却步的时候，又出了GPT2，又双出了威震天Megatron-LM，又双叒出了T5，又双叒叕出了DeepSpeed。。。每次都是照着一个数量级去加，剩
2020-05-21 13:46:53
926
1
转载 oracle sqlserver 查看指定用户下面的表
一、oracle 的sql语句查看指定用户下表的数量 (KOKO提供)------------------------------------------------------------------------------------------------------------语法： select * from dba_tables t where t.owner='用户id';dba_tables： 是有权限...
2020-05-20 10:15:05
966
转载 sql server登录名、服务器角色、数据库用户、数据库角色、架构区别联系
原创链接：https://www.cnblogs.com/lxf1117/p/6762315.htmlsql server登录名、服务器角色、数据库用户、数据库角色、架构区别联系1.一个数据库用户可以对应多个架构（架构是表容器）。架构里面包含的是数据库表。2.一个数据库角色有可能涉及多个架构。数据库角色对应的是权限。3.一个用户对应一个数据库角色。4.登录名与数据库用户在服务器级别是一对多的；在数据库级别是一对一的。服务器登录名：指有权限登录到某服务器的用户；服务器角色：指一组固...
2020-05-20 09:53:13
827
转载 数据库 user schema sqlserver 关系
假如我们想了解数据库中的user和schema的关系，首先必须要清楚数据库中的user和schema的概念。 在sqlserver2000中，由于架构的原因，user和schema总有一层隐含的关系，让我们很少意识到其实user和schema是两种完全不同的概念，不过在sqlserver2005中这种架构被打破了，user和schema也被分开了。 首先来做一个比喻，什么是database，schema，table，列，行，user？可以把database看作是一个大的仓库，仓库分了很多很多..
2020-05-20 09:52:04
621
转载 mapreduce理解_大数据
看这篇文章请出去跑两圈，然后泡一壶茶，边喝茶，边看，看完你就对hadoop 与MapReduce的整体有所了解了。【前言】Hadoop是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等。本文就hadoop的...
2020-05-19 13:48:16
427
转载 cuda安装教cudnn安装显卡问题
cuda9.0+cudnn7.0安装教程 1、下载cuda9.0下载链接：https://developer.nvidia.com/cuda-toolkit-archive 2、安装cuda安装cuda时，第一次会让设置临时解压目...
2020-05-16 22:43:37
649
转载 深度学习隐藏层
隐藏层的意义要说明隐藏层的意义，需要从两个方面理解，一个是单个隐藏层的意义，一个是多层隐藏层的意义。单个隐藏层的意义隐藏层的意义就是把输入数据的特征，抽象到另一个维度空间，来展现其更抽象化的特征，这些特征能更好的进行线性划分。举个栗子，MNIST分类。输出图片经过隐藏层加工, 变成另一种特征代表 (3个神经元输出3个特征), 将这3个特征可视化出来。就有了下面这张图, 我们发现中间的隐藏层对于"1"的图片数据...
2020-05-15 16:54:04
5189
转载 numpy累乘
-转载：https://blog.csdn.net/qq_35515661/article/details/85253952 ...
2020-05-14 16:27:19
2159
原创 python编程问题--第三次
对于列表如果追加的元素也是列表的话 如果循环的中间结果一直保存在内存中的话 直到最后一次才保存那么 中间结果中的追加列表的元素全部都会变成最后一次的结果列表 [:-1] 是包含倒数第二个元素的列表[-1:] 包含最后一个元素的列表[len(a)-1:len(a)] 最后一个元素...
2020-05-12 14:38:21
4991
转载 充分必要充要条件
暮野1,776 人赞同了该回答充分条件：如果条件A是结论B的充分条件：A与其他条件是并连关系，即A、C、D….中任意一个存在都可以使得B成立（就像是个人英雄主义），如下图：用法：1．如果条件A存在，B肯定成立，即A→B（箭头表示能够推导出）2．如果B不成立，则说明所有可能的条件都不存在，因此A肯定也不存在，即非B→非A3．如果条件A不存在，而条件C、D可能存在，也可以使得B成立，即不能导出非A→非B必要条件： 条件A是结论B的必要条件：A与其他条件是串联关系，即条件A必须存在，且条件C、D….也全部存在才.
2020-05-11 13:43:20
3985
转载 掩码语言模型(Masked Language Model)mlm
发布小助手 发表于：2020-4-15 20:48:40120次点击关注 私信 发送私信 您没有权限发布私信掩码语言模型(Masked Language Model) 深度学习 — > NLP — >Improving Language Understanding by Generative Pre-Traininghttps://zhuanlan.zhihu.com/p/44121378 https://zhuanlan.zhihu.com/p/32544778 https://blog.c
2020-05-10 00:15:11
24336
1
转载 ELECTRA 超过bert预训练NLP模型
论文：ELECTRA: Pre-training Text Encoders As Discriminators Rather Then Generators本文目前在ICLR 2020盲审中，前几天有审稿人发表文章对它大夸特夸，被称为19年最佳NLP预训练模型，另外，在上周的智源北京人工智能大会上，Christopher Manning对这个工作也做了详细介绍，那么，已经不用匿名了，这就是Manning大师的工作，...
2020-05-09 23:14:26
467
1
转载 排列组合中分组(分堆)与分配问题
https://wenku.baidu.com/view/2d523843be1e650e52ea9956.html
2020-05-08 10:39:05
2768
转载 高斯消元法-线性代数
<div id="article_content" class="article_content clearfix"> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-21113...
2020-05-03 11:20:21
1669
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人