![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
KinG-177
这个作者很懒,什么都没留下…
展开
-
bert 笔记
一、embedding1、pytorch——embedding函数生成的embedding2、pos embedding【1,2,3,4,。。。。。32】 这个列表生成的embedding3、type embedding 有两句话时来区分的。 最终是1+2+3三个向量相加得最终embedding二、mul-head q、k、v,生成bert-embedding,一共12个head1、q k两两结合,使用softmax生成注意力权重,然后和v结合生成b,b为最终值2、self attention完成后原创 2022-07-01 10:03:29 · 268 阅读 · 0 评论 -
人工智能顶会
下面这些是比价出名的顶会CVPR:IEEE国际计算机视觉与模式识别会议ECCV:欧洲计算机视觉国际会议ICCV:国际计算机视觉大会AAAI:国际先进人工智能协会NIPS:神经信息处理系统大会ICLR:国际学习表征会议ICML:国际机器学习会议...原创 2022-03-25 15:07:13 · 2950 阅读 · 0 评论 -
GIOU损失函数
1、问题:giou为什么要加IOU?这是因为-号两边的部分,在A和B重合前后只有一个生效,另一个是0.2、Lgiou 式子中为什么要用1减?为了将式子变成减函数,方便梯度下降。原创 2021-12-11 15:42:23 · 2310 阅读 · 0 评论 -
tensorflow、pytorch、paddle测试gpu语句
paddle:import paddlepaddle.utils.run_check()pytorch:import torcha = torch.cuda.is_available()print(a)tensorflow:import tensorflow as tfprint(tf.test.is_gpu_available())原创 2021-11-30 18:05:15 · 888 阅读 · 0 评论 -
自注意力机制
q:通过自身q和每个其它向量的k结合可以得到自身和其它向量的相关性α,v:携带每个向量的信息。原创 2021-11-28 12:33:15 · 416 阅读 · 0 评论 -
ROC曲线
当虚惊率高的时候 击中率高 很正常。当虚惊率低(负样本多,但是错误少)的时候 击中率高 才优秀。原创 2021-11-25 22:10:06 · 236 阅读 · 0 评论 -
denseNet 详解
CNN网络架构演进:从LeNet到DenseNet - Madcola - 博客园 (cnblogs.com)1、解决梯度消失问题2、特征图相应变少原创 2021-11-17 15:54:25 · 111 阅读 · 0 评论 -
inception 网络
(39条消息) 十分钟一起学会Inception网络_TensorFlowNews-CSDN博客_inception网络1、在3x3卷积核前使用1x1卷积,可以首先将通道数变少,然后在进行正常卷积,可以降低参数量和连接数。这个靠想想不是那么直观,需要好好思考。2、在同一层使用多个尺寸的卷积核进行卷积操作可以提供更丰富的信息。...原创 2021-11-17 14:49:52 · 104 阅读 · 0 评论 -
seNet详解
最后一届ImageNet冠军模型:SENet - 知乎 (zhihu.com)1、先把各通道特征图融合。2、学习每个通道的一个w权重。3、用这个权重乘对应通道特征图。4、得到新的有注意力的特征图。原创 2021-11-17 14:11:42 · 549 阅读 · 0 评论 -
分组卷积————
原创 2021-11-17 12:03:33 · 75 阅读 · 0 评论 -
深度可分离卷积
关于深度可分离卷积的理解 - GShang - 博客园 (cnblogs.com)1、单通道卷积2、逐点卷积原创 2021-11-17 11:28:18 · 1560 阅读 · 0 评论 -
卷积、卷积核、通道
一般的卷积,卷积核通道数=输入图片通道数输出图片通道数=卷积核数量原创 2021-11-17 11:14:17 · 2319 阅读 · 0 评论 -
卷积运算方式
卷积核可以有多个,每个卷积核的通道和输入数据的通道相同,比如RGB三个通道。原创 2021-05-19 15:45:10 · 211 阅读 · 0 评论 -
PCA
https://blog.csdn.net/u010376788/article/details/46957957原创 2021-04-23 16:49:54 · 36 阅读 · 0 评论 -
SVM非常详细的解说
SVM非常详细的解说https://zhuanlan.zhihu.com/p/24638007原创 2021-04-07 01:43:13 · 147 阅读 · 0 评论 -
ubuntu 使用tensorflow-gpu2.X 报错 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR要在文件开始处添加:config = tf.compat.v1.ConfigProto(gpu_options=tf.compat.v1.GPUOptions(allow_growth=True))sess = tf.compat.v1.Session(config=config)原因是因为tensorflow会申请整个显卡内存,虽然它用不到,比如我是rtx2070(8g.原创 2020-12-31 10:19:27 · 142 阅读 · 0 评论 -
一秒弄懂 epoch、batch_size
第一:epoch 神经网络训练时候 y=wx +b , 要把所有数据集样本通过网络计算出y'结果,然后计算平均损失: Loss=( ∑(y - y')^2 ) / n(样本总个数) 然后一次接一次地通过梯度下降法,得出比较小的Loss,此时才算训练完成。 上面说的一次接一次 就是epoch的次数。第二:batch_size 上面每次训练的过程中,因为需要把所有样本送到神经网络计算一遍,用cpu的话比较慢,因为要一个一个先后按顺序,所以我们使用.原创 2020-06-09 21:28:48 · 991 阅读 · 0 评论