- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Meta-learning与传统监督学习的概念区别
传统监督学习对预测过程建模：，学习目的是降低与标签的误差。传统监督学习是通过学习一个数据集中的带标签数据，得到针对这个数据集的预测模型参数，从而对这个数据集中的无标签数据的标签进行预测。Meta-learning对学习过程建模：，是预测模型的参数，学习目的是如何根据数据集生成对应的预测模型。Meta-learning是在对现有的多个数据集学习的过程中，同时学习到这些数据集的共同特征（先验知识）。这样当需要对一个数据量很小的新数据集进行学习时，可以根据先验知识很快学习到新数据集对应的模型参数.
2021-05-28 16:22:00
403
原创 MobileNet V3激活函数之h-swish
激活函数h-swish是MobileNet V3相较于V2的一个创新，是在谷歌大脑2017年的论文Searching for Activation Functions中swish函数的基础上改进而来，用于替换V2中的部分ReLU6。swish的作者认为，该函数具有无上界、有下界、平滑、非单调的特点，在深层模型上优于ReLU。但是，由于sigmoid函数计算复杂（sigmoid(x) = (1 + exp(-x))^(-1)），所以V3改用近似函数来逼近swish，这使其变得更硬（hard）。作者选择
2021-01-05 16:38:00
10729
原创 Pytorch中不同图像数据读取方式的影响
Pytorch一般有两种图像数据读取方式：1、在每次迭代时，读取当前用到的图像：因为图像只有在用到的时候才写进内存，所以内存占用很小；但是这样每次迭代之前都有一个imread的过程，从而导致GPU利用率忽高忽低，且利用率峰值也很低，训练时间很长；2、事先读取所有图像：如果数据集较大的话，读取完整数据集的过程会耗费大量时间，内存占用也会很大；不过因为不用在迭代之前读图，所以GPU利用率会稳定在一个很高的值，大幅降低整体训练时间。注：在Windows系统中可以在任务管理器里查看GPU使用情况，但上面
2020-12-25 10:15:02
437
原创 近年来LeCun对AI发展方向的思考（2020.9.6更）
2017年，LeCun在“讲述深度学习与人工智能的未来”演讲中提到，AI发展的一大难题就是怎样让机器掌握人类常识，而这是让机器与人类自然互动的关键。要做到这一点，机器需要有一个具备预测能力的内在模型，他提出了一个公式来描述这种AI系统：预测+规划=推理。AI的发展方向是不需人类训练，让机器自主构建这个内在模型。在2017年的采访中，LeCun回答了他近期的研究课题：1）用GAN研究预测模型，其实本质就是无监督学习；2）如何理解深度学习目标函数的几何结构。2018年的AAAS研讨会上，..
2020-09-06 16:14:08
197
原创 OpenCV中使用Rect选取区域
使用Rect(Point pt1, Point pt2)定义一个矩形区域用于截取Mat，截出来的区域中，左上角的坐标为(pt1.x, ptr.y)，右下角的坐标为(pt2.x - 1, pt2.y - 1)，区域宽为pt2.x - pt1.x，高为pt2.y - pt1.y。 为防止直接使用Rect截取区域报错，可以使用Mat Mat1(10, 10, CV_8UC1, Scalar(0));Rect Rect1 = Rect(Point(3, 3), Point(7, 7));Rect Rec
2020-08-27 10:29:10
1681
原创 论文要点总结：Gradient-Based Learning Applied to Document Recognition（二）
论文要点总结：Gradient-Based Learning Applied to Document Recognition（一）III. 结果和与其他方法的对比虽然识别单个数字只是设计一个实际识别系统所涉及的众多问题之一，但它是比较形状识别方法的一个很好的基准。尽管许多现有方法是将手工特征提取器与可训练分类器结合，本文集中研究直接对尺寸归一化图像进行操作的自适应方法。A. 数据集：MNIST（Modified NIST）NIST数据集中，训练集中的数字要比测试集中的更加清晰、易于识别。将N
2020-08-06 20:47:26
1130
原创 论文要点总结：Gradient-Based Learning Applied to Document Recognition（一）
论文阅读：Gradient-Based Learning Applied to Document Recognition（一）（I）II. 用于孤立字符检测的卷积神经网络
2020-07-23 21:43:17
3080
转载 相同的神经网络模型，采用相同数据集训练，得到的权重参数是否相同？
转载自：相同的神经网络模型，采用相同数据集训练，得到的权重参数是否相同？想要两次结果完全一样，很简单，要保证两个方面：第一步，设置一样的seednp.random.seed(cfg.RNG_SEED)torch.manual_seed(cfg.RNG_SEED)torch.cuda.manual_seed_all(cfg.RNG_SEED)random.seed(cfg.RNG_SEED)第二步，关闭cudnn，打开determinstic，假如你依旧想获得cudnn加速效果，可以这
2020-07-19 10:46:26
1638
原创 高效神经网络设计原则
1、输入输出具有相同通道数时，内存消耗最小；2、虽然组卷积能提高模型准确度，但使用过多的分组卷积会增大内存访问成本（MAC），从而降低模型速度；3、同样的FLOPs，模型的分支数量越少，运行速度越快（同样的单元数与FLOPs，串联的运行速度快于并联）；4、Element-wise操作的运行时间不能忽略（如Add、激活函数、短连接、depthwise可分离卷积），（尤其在GPU上）是典型...
2020-05-07 16:39:12
421
原创 关于pytorch中BN层（具体实现）的一些小细节
最近在做目标检测，需要把训好的模型放到嵌入式设备上跑前向，因此得把各种层的实现都用C手撸一遍，，，此为背景。其他层没什么好说的，但是BN层这有个小坑。pytorch在打印网络参数的时候，只打出weight和bias这两个参数。咦，说好的BN层有四个参数running_mean、running_var 、gamma 、beta的呢？一开始我以为是pytorch把BN层的计算简化成weight *...
2020-01-14 16:53:31
5042
10
原创 基于嵌入式平台的图像特征选择
由于基于嵌入式平台的图像算法开发普遍要求消耗内存少、实时性好，而特征提取及其匹配又是图像处理中计算资源、计算时间消耗的大头，所以选择合适的特征是算法设计的重中之重。 常用的图像特征包括SIFT、HOG、Hough变换等，这些特征的优点不赘述，但它们的共同缺点是计算慢、占内存高，虽然知道能取得较好的效果，然而常常无法符合平台要求。面对这种情况，建议使用FAST及其改进O...
2019-10-16 11:06:40
505
原创 图像式物体尺寸测量算法设计
目标：设计算法，根据一系列二维图像估计图中待测矩形物体的几何尺寸。要求：误差小，运行速度快，占内存小，嵌入式平台，产品成本不能太高。 最近接到领导任务，要求评估根据二维图像测量物体尺寸的算法可行性。现在将一些心得记录下，供自己整理思路，也方便有相关需求的同学参考。 根据初步评估，大致确定三维重建算法将在以下三种中选择： 1、线激...
2019-10-14 10:56:03
5209
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人