AI杂货铺
AI杂货铺——不稳定的传送门
分享一些常用算法demo,算法的心得理解,以及常用预处理脚本等。
一部分内容是github项目AI-Toolbox的补充介绍,地址:https://github.com/monkeyDemon/AI-Toolbox
随煜而安
Deep Learning?不如Keep Learning ~ 聚焦CV,关注各类算法相关问题
展开
-
动手学CV-目标检测入门教程6:训练与测试
3.6、训练与测试本文来自开源组织 DataWhale ???? CV小组创作的目标检测入门教程。对应开源项目 《动手学CV-Pytorch》 的第3章的内容,教程中涉及的代码也可以在项目中找到,后续会持续更新更多的优质内容,欢迎⭐️。如果使用我们教程的内容或图片,请在文章醒目位置注明我们的github主页链接:https://github.com/datawhalechina/dive-into-cv-pytorch3.6.1 模型训练前面的章节,我们已经对目标检测训练的各个重要的知识点进行了讲原创 2020-12-27 16:42:39 · 1164 阅读 · 0 评论 -
动手学CV-目标检测入门教程5:损失函数
3.5 损失函数本文来自开源组织 DataWhale ???? CV小组创作的目标检测入门教程。对应开源项目 《动手学CV-Pytorch》 的第3章的内容,教程中涉及的代码也可以在项目中找到,后续会持续更新更多的优质内容,欢迎⭐️。如果使用我们教程的内容或图片,请在文章醒目位置注明我们的github主页链接:https://github.com/datawhalechina/dive-into-cv-pytorch3.5.1 Matching strategy (匹配策略):我们分配了许多pri原创 2020-12-27 16:32:50 · 764 阅读 · 0 评论 -
动手学CV-目标检测入门教程4:模型结构
3.4 模型结构本文来自开源组织 DataWhale ???? CV小组创作的目标检测入门教程。对应开源项目 《动手学CV-Pytorch》 的第3章的内容,教程中涉及的代码也可以在项目中找到,后续会持续更新更多的优质内容,欢迎⭐️。如果使用我们教程的内容或图片,请在文章醒目位置注明我们的github主页链接:https://github.com/datawhalechina/dive-into-cv-pytorch本章教程所介绍的网络,后面我们称其为Tiny_Detector,是为了本教程特意设计原创 2020-12-27 16:26:29 · 1082 阅读 · 1 评论 -
动手学CV-目标检测入门教程3:锚框(anchor)
3.3 锚框 or 先验框本文来自开源组织 DataWhale ???? CV小组创作的目标检测入门教程。对应开源项目 《动手学CV-Pytorch》 的第3章的内容,教程中涉及的代码也可以在项目中找到,后续会持续更新更多的优质内容,欢迎⭐️。如果使用我们教程的内容或图片,请在文章醒目位置注明我们的github主页链接:https://github.com/datawhalechina/dive-into-cv-pytorch3.3.1 关于先验框在众多经典的目标检测模型中,均有先验框的说法,有的原创 2020-12-27 16:14:48 · 1947 阅读 · 1 评论 -
动手学CV-目标检测入门教程2:VOC数据集
3.2 目标检测数据集VOC本文来自开源组织 DataWhale ???? CV小组创作的目标检测入门教程。对应开源项目 《动手学CV-Pytorch》 的第3章的内容,教程中涉及的代码也可以在项目中找到,后续会持续更新更多的优质内容,欢迎⭐️。如果使用我们教程的内容或图片,请在文章醒目位置注明我们的github主页链接:https://github.com/datawhalechina/dive-into-cv-pytorch3.2.1 VOC数据集简介VOC数据集是目标检测领域最常用的标准数据原创 2020-12-27 16:06:16 · 2091 阅读 · 2 评论 -
动手学CV-目标检测入门教程:基本概念
3.1 目标检测基本概念本文来自开源组织 DataWhale ???? CV小组创作的目标检测入门教程。对应开源项目 《动手学CV-Pytorch》 的第3章的内容,教程中涉及的代码也可以在项目中找到,后续会持续更新更多的优质内容,欢迎⭐️。如果使用我们教程的内容或图片,请在文章醒目位置注明我们的github主页链接:https://github.com/datawhalechina/dive-into-cv-pytorch3.1.1 什么是目标检测目标检测是计算机视觉中的一个重要任务,近年来传统原创 2020-12-27 15:52:59 · 1222 阅读 · 0 评论 -
天池CV学习赛:街景字符识别-思路与上分技巧汇总
Datawhale 和 天池 合作的零基础入门CV - 街景字符编码识别比赛的正式赛已经结束。本文对一些比赛思路和上分技巧进行了汇总和整理,希望对大家深入学习CV能够有帮助。本文分为以下几部分:如何优化官方baseline的效果?其它解题思路的整理和分析字符级目标检测的优化技巧整理在这里要特别感谢多位前排选手对于比赛技巧的无私分享,那么不多bb,下面直接进入正题一、如何优化官方baseline的效果?本次入门赛的官方baseline入门材料,相信大家肯定都看过了:Task1原创 2020-08-10 21:49:09 · 2843 阅读 · 1 评论 -
nlp cs224n 学习笔记1 Introduction and Word Vectors
注:个人笔记,价值有限,不建议逗留。word embedding 的意义和目的?通过一种映射,将自然语言中的单词,嵌入到n维欧式空间中,得到可以用数学语言表达并用计算机计算的“词向量”。同时我们希望,在语言中语义相近的词汇,在映射后的空间中仍具有相似性(表现为距离相近)分布式语义如何学习具有我们想要特性的word embedding呢?一个重要的思路是分布式语义:一个单词的含义由频繁的出现在其附近的单词所决定有一定道理,就好像我们在学语言时,一个单词的具体含义,经常通过给出的若干例句来记住原创 2020-06-24 22:58:26 · 283 阅读 · 0 评论 -
SSD之硬的不能再硬的硬核解析
数据增强论文中关于数据增强的描述有两段,分别是2.2 training的末尾部分,以及3.6 Data Augmentation for Small Object Accuracy。2.2 training 中关于数据增强的描述如下:这部分介绍了SSD训练过程使用的数据增强策略,核心就是通过一定概率进行的随机采样来加强模型对于输入物体尺寸的鲁棒性。在随机采样之后,不同shape的patch...原创 2020-04-13 23:58:37 · 1652 阅读 · 0 评论 -
自动搜索数据增强方法分享——fast-autoaugment
前言简短的介绍下分享fast-autoaugment的原因毫无疑问数据增强对于训练CNN非常有效,大家也在不断发明新的数据增强方法拿到一份数据集,我们凭借之前的经验组合不同的增强方法形成一个数据增强策略,通常可以得到一个还不错的baseline。但如何更进一步,让模型再提升1-2个百分点就很困难了。通常我是进行一些数据增强效果的可视化,选定一个潜在的优化方向(比如旋转的幅度是否过大了),然后...原创 2020-03-07 23:05:17 · 7290 阅读 · 6 评论 -
AutoML 与 Bayesian Optimization 概述
1. AutoML 概述AutoML是指对于一个超参数优化任务(比如规定计算资源内,调整网络结构找到准确率最高的网络),尽量减少人为干预,使用某种学习机制,来调节这些超参数,使得目标问题达到最优。这些学习机制包括最基本的Grid SearchRandom Search也有比较传统的贝叶斯优化多臂老虎机(multi-armed bandit)还有比较新颖的进化算法强化学...原创 2019-12-22 22:00:08 · 1936 阅读 · 1 评论 -
小心使用tf.image.resize_images,填坑经验分享给你
上上周,我在一个项目上线前对模型进行测试时出现了问题,这个问题困扰了我两周,终于找到了问题根源,做个简短总结分享给你,希望对大家有帮助。问题描述:线上线下测试结果不一致,且差异很大具体来说,线下测试直接load由ckpt存储的模型,然后使用cv进行数据预处理,然后正常评估测试集上的准召。线上测试,首先使用tf.image相关函数将预处理写死在模型中,将ckpt模型转为savemodel格式...原创 2019-11-30 22:51:48 · 8617 阅读 · 3 评论 -
借助百度识图爬取数据集
背景一个能够实际应用的深度学习模型,背后的数据集往往都花费了大量的人力财力,通过聘用标注团队对真实场景数据进行标注生产出来,大多数情况不太可能使用网络来源的图片。但在项目初期的demo阶段,或者某些特定的场合下,你可能需要借助一些网络来源的图片来辅助你构建最初的数据集。本文就将我制作的两个脚本工具分享给大家,它们可以让你借助百度识图来快速的爬取一批目标数据来丰富你的数据集。代码也整合到了我维...原创 2019-11-09 17:10:58 · 2214 阅读 · 1 评论 -
focal loss的几种实现版本(Keras/Tensorflow)
起源于在工作中使用focal loss遇到的一个bug,我仔细的分析了网站大量的focal loss讲解及实现版本通过测试,我发现了这样一个奇怪的现象,几乎每个版本的focal loss实现对同样的输入计算出的loss都是不同的。通过仔细的比对和思考,我总结了三种我认为正确的focal loss实现方法,并将代码分析出来。完整的代码我整理到了我的github代码库AI-Toolbox中,代码...原创 2019-05-31 15:23:19 · 37893 阅读 · 35 评论 -
tensorflow 如何获取模型中想要的张量
当我们想要改造或者利用某一预训练模型来完成一些其它任务时,一个常用且必备的操作是从指定模型中获取到我们感兴趣的张量(tensor)。例如我想使用一个已经训练好的CNN模型中间的某一层的结果作为特征向量来完成另一个相关任务,就需要这样的操作。如何做到?很简单,只需两步:1.获取到感兴趣张量的名字.2.使用get_tensor_by_name函数获取下面详细说明下1.获取到感兴趣张量的名字...原创 2019-05-29 13:12:41 · 3772 阅读 · 4 评论 -
GPU环境配置指南(Ubuntu16.04+CUDA+CUDNN)
前言一、配置网络这个就不必多说了,配置好ip,网关等,确保可以上网即可。二、安装必备工具:根据自己的需求,安装一些必要工具更换国内源参考教程更新$ sudo apt-get update安装vim$ sudo apt-get install vim安装ssh$ sudo apt-get install openssh-server运行ssh:$ sudo service...原创 2019-03-15 22:12:26 · 1056 阅读 · 0 评论 -
天池竞赛-津南数字制造算法挑战赛【赛场二】解决方案分享
天池竞赛-津南数字制造算法挑战赛【赛场二】解决方案分享一、前言竞赛页面团队名BugFlow,最终排名35/2157虽然成绩一般,但是作为一支目标检测领域的新手队伍,仅仅有一块1070显卡,从零开始拿到这个排名,也算有一些经验可以拿出来分享,包括一些针对这个比赛我们想出的一些idea,算是抛砖引玉吧,期待能够和排名靠前的大佬多多交流。源码下载二、框架选择这个比赛实际上就是一个目标检测比...原创 2019-04-26 10:23:32 · 2224 阅读 · 8 评论 -
使用Python实现简易的数据标注工具
使用Python实现简易的数据标注工具以增加工作效率为目的,最近一直在着手构建一个AI ToolBox这两天,我为其中的预处理工具目录添加了数据标注模块,本文所介绍内容的代码见这里该数据标注模块包含以下几个demogui_tkinter_exercise.pydata_annotation_tool.pyimage_select_tool.py一个简单的GUI练习gui_tkint...原创 2018-11-28 22:07:15 · 9845 阅读 · 2 评论 -
python实现视频关键帧提取(基于帧间差分)
python实现视频关键帧提取(基于帧间差分)在很多场景下,我们不想或者不能处理视频的每一帧图片,这时我们希望能够从视频中提取出一些重要的帧进行处理,这个过程我们称为视频关键帧提取。关键帧提取算法多种多样,如何实现主要取决于你对于关键帧的定义。也就是说,对于你的实际应用场景,视频中什么样的图片才算是一个关键帧?今天我实现了一种比较通用的关键帧提取算法,它基于帧间差分。算法的原理很简单:我...原创 2018-12-05 20:35:17 · 35510 阅读 · 64 评论 -
使用SIFT匹配金馆长表情包
python使用opencv计算SIFT特征点的示例前言潜在的问题记录demo1:计算并绘制特征点demo2:使用SIFT匹配两幅图像参考文章地址前言SIFT(Scale-invariant feature transform)是2004年提出的,至今已经经受住各种考验,被证实是在同类描述子中具有很强健壮性的算法。SIFT既是一种特征点检测算法,也同时提供特征点的描述子。本文使用两个示例,...原创 2018-11-08 18:10:26 · 604 阅读 · 0 评论