![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
AI基础日更
不断积累AI基础知识,聚沙成塔!
Kester_
写过安卓应用,干过图像引擎,搞过数字图像,正在整计算机视觉
展开
-
图像分割学习笔记
图像分割学习笔记全局信息和局部信息局部信息提取位置:浅层网络中提取局部信息特点:物体的几何信息比较丰富,对应的感受野较小目的:有助于分割尺寸较小的目标,有利于提高分割的精细程度全局信息提取位置:深层网络中提取全局信息特点:物体的空间信息比较丰富,对应的感受野较大目的:有助于分割尺寸较大的目标,有利于提高分割的准确程度比较语义分割面临着语义和位置信息不可兼得的问题。全局信息解决的是“是什么”,而局部信息解决的是“在哪里”。在下采样结构中,一般认为前三层依然是浅层跳跃融合结构将浅层特征原创 2021-08-29 22:53:49 · 395 阅读 · 0 评论 -
人工神经网络中为什么ReLU好过tanh和sigmoid
人工神经网络中为什么ReLU好过tanh和sigmoidtanh和sigmoid是饱和激活函数,在x不断增大或减小后,y会越来越接近于一个固定值,像sigmoid就会接近0或1,这时梯度就会非常小,难以学习。而ReLu是非饱和激活函数,大于0的部分始终有不错的梯度,小于0的部分置0也增加了稀疏性,降低过拟合。...原创 2021-08-22 23:49:01 · 466 阅读 · 0 评论 -
为什么引入非线性激活函数
为什么引入非线性激活函数多个线性层叠加起来也是一个线性层,而非线性层的引入可以提升模型的特征提取能力,只要非线性激活函数足够多,几乎可以逼近任意函数,这对于学习一个数据集的概率分布非常重要。...原创 2021-08-22 23:44:03 · 708 阅读 · 0 评论 -
极大似然估计与最大后验概率估计(MLE与MAP)
极大似然估计与最大后验概率估计(MLE与MAP)对于概率看法不同而存在着两个不同的派别,频率学派和贝叶斯派。频率学派认为世界是确定的,在数据量大的情况下,采用极大似然估计可以很好地还原模型的真实情况。贝叶斯派认为世界是不确定的,基于观测数据的方式不同或者假设不同,推导得到参数也会不相同,在先验概率准确的情况下,最大后验概率估计得到的结果效果会很好。...原创 2021-08-22 23:25:03 · 205 阅读 · 0 评论 -
hashmap冲突的解决方法
hashmap冲突的解决方法哈希函数的hash冲突通常有四种解决方案:开放地址法,当前key被占领了就找下一个位置,下一个位置的定位方案有线性探测再散列、平方探测再散列、随机探测再散列。链地址法,hash相同的放在一个新的叫同义词链的链表里,链表头指针放到value位置。再哈希,运用多个哈希函数,一个的哈希值冲突就用下一个。建立公共溢出区,将哈希表分为基本表和溢出表,凡是是基本表发生冲突的,放入溢出表中。hashmap采用的是链地址法。...原创 2021-08-22 23:14:42 · 1057 阅读 · 0 评论 -
链表与数组的优缺点
链表与数组的优缺点数组的优点· 随机查找速度快。数组的缺点· 内存要求高,需要连续的内存空间;· 增删的速度慢;· 数组大小固定,动态扩展性差,而且可能浪费内存。链表的优点· 内存要求低,不需要连续的内存空间;· 增删的速度快。· 数组大小不固定,动态扩展性强,内存利用率高;链表的缺点· 随机查找速度慢。...原创 2021-08-22 22:36:14 · 239 阅读 · 0 评论 -
对L1,L2正则化的理解
对L1,L2正则化的理解L1,L2都可以通过约束参数降低剧烈波动来防止过拟合。而L1正则化可以产生稀疏模型,进而可以用于特征选择,所以L1适用于特征之间有关联的情况。L2让所有特征的系数都缩小,但不会减为0,它会使优化求解稳定快速,所以L2适用于特征之间没有关联的情况。...原创 2021-08-21 00:07:47 · 168 阅读 · 0 评论 -
对网络模型压缩有什么了解
对网络模型压缩有什么了解网络模型压缩方法通常有剪枝、量化、蒸馏。剪枝分为非结构化剪枝和结构化剪枝,非结构化剪枝指将部分不重要的参数置0,在一般的硬件设备中其实并不能加速,因为即使是0仍然要参与运算,结构化剪枝指将部分不重要的通道去掉,可以直接减少运算量,一般在判别模型中权重越低重要性也越低,可以优先作为被剪枝的通道,但是在生成模型中,权重低不代表重要性低,可能权重低的通道会影响细节部分,因此常规的剪枝方式也不适用于生成模型。量化是将精度转换为存储空间更小的精度,从32位单精度转换为8位整型,可以将占用原创 2021-08-20 23:52:07 · 145 阅读 · 0 评论 -
怎么看待对抗攻击深度学习模型
怎么看待对抗攻击深度学习模型对抗攻击与对抗防御,就像网络攻防一样永远不会休止,互相促进发展。深度学习模型的复杂性和黑盒性决定了永远无法覆盖100%的场景,换句话说,泛化能力是有限的,而如果有一个方式找到了泛化能力之外的内容,那么当前的模型便不再安全,在普通应用场景中还好,但是如果涉及到安防等领域,就是大问题了,本质上对抗攻击深度学习模型的发展也会促进对抗防御深度学习模型的发展,以及促进这个领域不断提升泛化能力。...原创 2021-08-19 22:51:33 · 277 阅读 · 0 评论 -
池化层的作用
池化层的作用在卷积神经网络中常常会在相邻的卷积层中间加入池化层,池化层可以有效缩小参数矩阵的尺寸,从而减少参数数量,所以加入池化层可以加快计算速度和防止过拟合。列举一下的话可以有:完成下采样去除冗余信息,对特征进行压缩,降低网络复杂度实现非线性扩大感受野池化一般有最大池化和平均池化,最大池化适用于过滤掉比较多无用信息的场景,比如网络浅层通常会比较多无用信息;而平均池化适用于整体都是有用信息时取一个平均,比如网络深层一般都是重要信息。在 PyTorch 中还有一个自适应池化(既有最大也有平均原创 2021-08-19 22:40:43 · 2410 阅读 · 0 评论 -
卷积层相比全连接层的优点
卷积层相比全连接层的优点参数计算量更小。全连接层每一个节点都要与下一层的每一个节点全部连接,每一个连接都有参数参与运算;而卷积层参数只与卷积核大小以及输出特征图的通道数相关。卷积层通过权值共享和稀疏连接来保证单层卷积中训练参数少。...原创 2021-08-19 22:19:14 · 2803 阅读 · 0 评论