深度学习
文章平均质量分 94
AI强仔
人工智能爱好者、机器人爱好者
展开
-
梯度下降优化器:SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam -> AdamW
梯度下降优化器:SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam -> AdamW原创 2023-02-24 17:17:14 · 2739 阅读 · 0 评论 -
多分类:categorical_crossentropy和sparse_categorical_crossentropy计算softmax交叉熵
1.sparse_categorical_crossentropylabel数组中的数据全为0-9,表示十种分类。model = tf.keras.Sequential()model.add(tf.keras.layers.Flatten(input_shape=(28,28)))model.add(tf.keras.layers.Dense(128, activation=‘relu’))model.add(tf.keras.layers.Dense(10, activation=‘softma原创 2020-12-31 15:21:13 · 4247 阅读 · 0 评论 -
DenseNet论文笔记
1 简介本文依据2018年《Densely Connected Convolutional Networks》翻译总结。Dense Convolutional Network (DenseNet)。说是比ResNet参数更少,效果却更好。最主要的特点,如下图,每一层的输入是前面所有层输出的feature map。DenseNet有如下好处:缓解梯度消失问题;增强特征传递;有利于特征的重用;减少参数数量。2 相关工作Highway Network使用gating units的bypa翻译 2020-09-23 17:33:52 · 168 阅读 · 0 评论 -
论文笔记3D Convolutional Neural Networks for Human Action Recognition
1 简介本文依据2009年左右的《3D Convolutional Neural Networks for Human Action Recognition》翻译总结.应该是较早提出3D CNN的文章。识别的人类动作主要要三种打电话、ObjectPut、Pointing。2 3D Convolutional Neural Networks2.1 2D CNN2.2 3D 卷积下图是共享权重的3D卷积。相同的3D kernel.不共享权重的3D卷积。右侧会产生两个不同的feature ma翻译 2020-08-15 16:20:56 · 564 阅读 · 0 评论 -
EfficientDet物体检测-论文笔记
1 简介本文依据2020年《EfficientDet: Scalable and Efficient Object Detection》翻译总结。在效率和准确率两方面兼顾。1,多尺度特征融合;2.模型的规模精简。下图可以看到,EfficientDet需要很少的训练参数和训练次数就可以取得很好的成绩AP。2 BiFPN如上图d,是BiFPN的结构,又融合多尺度,有比以前的a\b\c网络架构精简、准确率高。公式如下。2.1 权重特征融合不同的输入特征在不同的分辨率上,它们对输出的贡献各不同,翻译 2020-08-14 11:24:30 · 251 阅读 · 0 评论 -
ILSVRC-ImageNet历年竞赛冠军
ImageNet是一个超过15 million的图像数据集,大约有22,000类。是由李飞飞团队从2007年开始,耗费大量人力,通过各种方式(网络抓取,人工标注,亚马逊众包平台)收集制作而成,它作为论文在CVPR-2009发布。当时人们还很怀疑通过更多数据就能改进算法的看法。深度学习发展起来有几个关键的因素,一个就是庞大的数据(比如说ImageNet),一个是GPU的出现。(还有更优的深度模型,更好的优化算法,可以说数据和GPU推动了这些的产生,这些产生继续推动深度学习的发展)。ILSVRC是一个原创 2020-08-09 12:34:51 · 31243 阅读 · 5 评论 -
Cascade R-CNN论文笔记
1 简介本文依据《Cascade R-CNN: Delving into High Quality Object Detection》翻译总结。Cascade R-CNN探究高质量物体检测。物体检测有两种方法,一种是单步的,像YOLO、SSD是单步物体识别模型。还有一种是两步的,如R-CNN系列。对于R-CNN物体检测方法,分为两步,第一步是proposal检测者(detector),产生假设(hypothesis)/box,第二步是region-wise检测者(detector)/分类器。其中,I翻译 2020-08-02 16:32:07 · 531 阅读 · 0 评论 -
Stacked Hourglass Networks人体姿势估计-论文笔记
1 简介本文依据《Stacked Hourglass Networks for Human Pose Estimation》翻译总结。Stacked Hourglass:(1) 一个最终姿势的估计是需要理解整个身体的。所以最好是图片不同尺度的识别。Stacked Hourglass对所有尺度下的特征都处理,以便更好的捕获关于身体的各种空间关系。(2) 仅关注RGB图片的单个人姿势的关键点定位。(3) 没有使用unpolling和deconv 层,使用的是simple nearest neighbo翻译 2020-08-01 15:00:40 · 293 阅读 · 0 评论 -
语义分割优秀模型一览
摘自https://blog.csdn.net/JianqiuChen/article/details/105332206语义分割优秀模型一览:转载 2020-07-28 22:35:55 · 3619 阅读 · 0 评论 -
HRNet-人体姿势估计-论文笔记
1.简介本文依据《Deep High-Resolution Representation Learning for Human Pose Estimation》翻译总结。HRNet指High-Resolution Net。人的姿势(肘、手腕等)预测如下图。对于单人姿势估计,神经网络有两种主要的方法,一种是回归keypoints的位置,一种是估计关键点热图。其中关键点热的主要部分,一般采用hign-to-low 和low-to-hign的框架。HRNet改进了hign-to-low 和low-to-h翻译 2020-07-28 21:57:20 · 1431 阅读 · 0 评论 -
U-Net论文笔记
1 摘要本文参考2015年《U-Net: Convolutional Networks for Biomedical Image Segmentation》翻译总结。深度网络的训练一般需要成千上万的标注训练集。U-Net会更加有效的运用样本,所以数量上可以少些。U-Net在2015年ISBI cell tracking challenge中获胜。深度卷积网络的一个重要突破是krizhevsky使用8层网络、1百万张 imageNet 训练数据。深度卷积网络另一个发展是Region的滑窗方法,但其有翻译 2020-07-19 12:57:25 · 434 阅读 · 0 评论 -
从机器学习到深度学习
摘自:https://www.bilibili.com/video/BV1Tt411s7fK?t=3转载 2020-07-05 14:44:18 · 222 阅读 · 0 评论 -
论文笔记OHEM(Online Hard Example Mining)
简介 来自2016年论文《Training Region-based Object Detectors with Online Hard Example Mining》。在线困难样本挖掘OHEM(Online Hard Example Mining)。如字面意思,OHEM加强了对困难样例的检测,提高了mAP。Bootstrapping算法,指的就是利用有限的样本资料经由多次重复抽样,重新建立起足以代表母体样本分布的新样本。Bootstrapping现在经常叫做hard negative m...翻译 2020-06-23 15:53:02 · 731 阅读 · 0 评论 -
深度学习三巨头
ACM(国际计算机学会)宣布,有“深度学习三巨头”之称的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖,这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。ACM同时宣布,将于2019年6月15日在旧金山举行年度颁奖晚宴,届时正式给获奖者颁奖,奖金100万美元。以表彰他们给人工智能带来的重大突破,这些突破使深度神经网络成为计算的关...原创 2020-04-24 17:39:00 · 6169 阅读 · 2 评论 -
OCR技术汇总
1.OCR技术汇总我尝试了如下方法,总的来说,OCR一般包括三步,分别是文字方向检测、文字区域识别、文字识别。目前神经网络可以很好的完成文字识别了,只是需要大量的样本进行训练,如果全世界的语言都能做到的话,那量就非常大,一种语音的模型大小差不多就1G左右。最后一步(文字识别)用CRNN就能做到很好的效果,基本可以达到商用标准,不过要优化下速度或者机器要很高的配置。1.1 TesseractT...原创 2020-04-19 22:10:40 · 3283 阅读 · 0 评论 -
FPN论文笔记
1.介绍1.1.介绍本文基于《Feature Pyramid Networks for Object Detection》翻译总结。FPN即特征金字塔网络,在微不足道的代价(计算、存储)下,利用了深度卷积网络中内在的multi-scale 金字塔特征层,在特征提取方面取得了良好的效果。2.相关知识介绍2.1.Featurized image pyramid图像金字塔在人工特征领域大量使...原创 2020-04-12 16:36:59 · 316 阅读 · 0 评论 -
搭建CRNN模型(基于windows与tensorflow)
3.1.1.CPTN介绍通过CNN将图片的特征提取出来后采用RNN对序列进行预测,最后通过一个CTC的翻译层得到最终结果。说白了就是CNN+RNN+CTC的结构。Git 地址https://github.com/bgshih/crnn论文:paper http://arxiv.org/abs/1507.05717.3.1.2.CNN介绍CNN结构采用的是VGG的结构,并且文章对VGG网络...原创 2020-02-06 19:09:11 · 3801 阅读 · 29 评论