深度学习
文章平均质量分 71
xys430381_1
这个作者很懒,什么都没留下…
展开
-
paddle-lite部署
编译安装paddlelitegithub源码地址官方教程:Linux x86 环境下编译适用于 Linux x86 的库—(但是,该教程的编译指令之中,没有加–with_python=ON,必须加上才会生成.whl文件)树莓派4b学习笔记六:以源码编译的方式安装Paddlelite编译时,加上 --with_python=ON, 即可生成.whl安装包./lite/tools/build_linux.sh ./lite/tools/build_linux.sh --with_python=ON原创 2022-04-19 10:20:30 · 6210 阅读 · 0 评论 -
Pytorch分类模型转onnx以及onnx模型推理
Pytorch分类模型转onnx以及onnx模型推理将MobileNetV2的pytorch模型转换为ONNX模型,并用onnxruntime进行测试_cumtchw-程序员秘密Onnx模型推理(Python),onnx,python原创 2022-03-28 19:05:02 · 5112 阅读 · 0 评论 -
pycharm+远程docker打造深度学习环境
PyCharm+Docker:打造最舒适的深度学习炼丹炉pycharm专业版连接远程docker容器pycharm连接docker容器原创 2022-03-28 07:45:10 · 183 阅读 · 0 评论 -
图像重构---从RGB重构高光谱
2021-ICCV-Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild— 源码2020-CVPR-Hierarchical Regression Network for Spectral Reconstruction from RGB Images— 源码2020-CVPR-Adaptive Weighted Attention Network with Camera Sp原创 2022-03-02 15:55:33 · 6673 阅读 · 0 评论 -
involution理解
最好的参考来自论文作者的知乎:CVPR 2021 | involution:超越convolution和self-attention的神经网络新算子其他餐卡:https://zhuanlan.zhihu.com/p/400402288https://zhuanlan.zhihu.com/p/356960359https://blog.csdn.net/P_LarT/article/details/115426891引言CNN的空间不变性 (spatial-agnostic)和通道特异性 (cha原创 2021-12-22 15:47:45 · 2474 阅读 · 1 评论 -
增量学习/Incremental learning
增量学习二十年发展如何?用一篇综述看懂增量学习原创 2021-10-24 21:32:36 · 1222 阅读 · 0 评论 -
脑科学与精神疾病
睡眠、无创脑刺激和老化的大脑研究基于脑影像的精神疾病预测【干货】陈华富:神经精神疾病脑影像人工智能方法研究原创 2021-10-07 22:22:58 · 202 阅读 · 0 评论 -
航空图像/ UAV
UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial VehiclesAVHuman 数据集,对无人机图像的人类行为进行理解解析,包含 67,428 个多模式视频序列和 119 个用于动作识别的目标,22,476 帧用于姿势估计,41,290 帧和 1,144个用于人员重识别的身份,以及 22,263 帧用于属性识别。它由一架飞行的无人机在三个月内的白天和夜晚在多个城市和农村地区收集的,因此涵原创 2021-09-16 16:41:27 · 538 阅读 · 0 评论 -
不平衡/长尾问题/重采样
Class-Balanced Loss Based on Effective Number of SamplesClass-Balanced Loss Based on Effective Number of Samples - 1 - 论文学习Class-Balanced Loss Based on Effective Number of Samples - 2 - 代码学习(源码:https://github.com/vandit15/Class-balanced-loss-pytorch).原创 2021-08-14 13:44:36 · 263 阅读 · 0 评论 -
深度学习的不确定性(Uncertainty/confidence score)与校准(Calibration)
模型校准Calibration: 一个工业价值极大,学术界却鲜有研究的问题!(原论文:On Calibration of Modern Neural Networks,论文中有一些基本的校准方法,包括温度缩放Temperature Scaling)在大多情况下,我们只关心类别的预测 有多准,根本不 care 置信度是怎样的。然而,在一些实际应用场景下,置信度的度量也同样重要。例如 对于自动驾驶中的目标识别任务,车辆的前方出现了一个人,神经网络会将其识别成塑料袋,此时输出的置信度为50%(低于阈值)原创 2021-08-09 16:10:11 · 36565 阅读 · 5 评论 -
信息论知识(熵,KL散度,交叉熵,条件熵,互信息)
信息论知识:互信息、交叉熵、KL散度归一化互信息系数矩阵的python实现互信息的应用牛津大学|“不变信息聚类” :满足你对无监督深度聚类的一点幻想,Invariant Information Clusteringrepresentation learning与clustering的结合(1)...原创 2021-06-24 10:34:31 · 299 阅读 · 0 评论 -
动作识别
训练速度远超3D CNN,提速3倍!Facebook首发「时空版」Transformer近期必读的5篇顶会CVPR 2021【行为识别】相关论文和代码原创 2021-03-31 11:36:22 · 412 阅读 · 0 评论 -
人脸表情
【人脸表情识别】基于图片的人脸表情识别,基本概念和数据集原创 2021-01-10 20:59:10 · 131 阅读 · 1 评论 -
机器学习模型部署
机器学习模型部署都有哪些坑?剑桥研究者梳理了99篇相关研究原创 2021-01-10 20:34:12 · 208 阅读 · 0 评论 -
迁移学习
《小王爱迁移》系列文章汇总目录Deep Domain Adaptation论文集【数据挖掘顶会KDD2020】小样本学习116页ppt教程附视频讲解!清华龙明盛主页原创 2020-12-23 18:59:50 · 168 阅读 · 1 评论 -
损失函数与正则项(惩罚项),多loss间权重设计
正则项(惩罚项)正则项(惩罚项)的本质惩罚因子(penalty term)与损失函数(loss function)penalty term和loss function看起来很相似,但其实二者完全不同。惩罚因子:penalty term的作用就是把约束优化问题转化为非受限优化问题。罚函数的基本思想是构造辅助函数,把原来的约束问题转化为求辅助函数极小化的无约束问题。机器学习为什么需要正则项我们经常看到,标准损失函数通常由两项组成,数据损失项和惩罚项,并将惩罚项乘以超参数λ,用来平衡这两项。原创 2020-12-02 16:52:14 · 40434 阅读 · 3 评论 -
联邦学习入门
Qiang Yang, 2019. Federated Machine Learning: Concept and Applications.联邦学习开源框架FATE研究—入门简介(微众银行开源产品)联邦学习开源框架FATE研究–使用PyCharm开发和调试联邦学习 OR 迁移学习?No,我们需要联邦迁移学习当传统联邦学习面临异构性挑战,不妨尝试这些个性化联邦学习算法...原创 2020-11-30 10:24:46 · 478 阅读 · 0 评论 -
CNN模型复杂度(FLOPS、MAC)、参数量与运行速度,以及复杂度评估的pytorch库
CNN模型复杂度(FLOPS、MAC)、参数量与运行速度THOP: 估算PyTorch模型的FLOPs模块原创 2020-11-15 20:57:47 · 2479 阅读 · 0 评论 -
transformer与视觉
Transformer 超详细解读,一图胜千言一张图等于 16x16 个字,计算机视觉也用上 Transformer 了原创 2020-10-18 22:06:26 · 4118 阅读 · 0 评论 -
声音事件检测与定位
DCASE 2019 Task 3 Sound Event Localization and Detection论文:Polyphonic-Sound-Event-Detection-and-Localization-using-a-Two-Stage-Strategy,github源码原创 2020-10-18 21:32:05 · 2350 阅读 · 1 评论 -
从噪声标签中学习
综述:Image classification with deep learning in the presence of noisy labels: A survey-2019对应的解读:学习噪声(Deep Learning Noisy Labels)Resource:Awesome-Learning-with-Label-Noise https://github.com/gorkemalgan/deep_learning_with_noisy_labels_lit原创 2020-09-25 18:48:39 · 846 阅读 · 0 评论 -
kappa系数简介---一致性与分类准确度指标
kappa系数简介为什么要使用kappa分类问题中,最常见的评价指标是acc,它能够直接反映分正确的比例,同时计算非常简单。但是实际的分类问题种,各个类别的样本数量往往不太平衡。在这种不平衡数据集上如不加以调整,模型很容易偏向大类别而放弃小类别(eg: 正负样本比例1:9,直接全部预测为负,acc也有90%。但正样本就完全被“抛弃”了)。此时整体acc挺高,但是部分类别完全不能被召回。这时需要一种能够惩罚模型的“偏向性”的指标来代替acc。而根据kappa的计算公式,越不平衡的混淆矩阵,kappa值就原创 2020-09-24 19:59:35 · 13077 阅读 · 0 评论 -
音频/语音处理-综述
音频处理库—librosa的安装与使用Pytorch音频处理(torchaudio的使用)源码1、kaggle-birdcall-resnet-baseline-training(用resnet50做鸟叫分类)对应的kaggle竞赛页面:https://www.kaggle.com/hidehisaarai1213/inference-pytorch-birdcall-resnet-baseline2、PANNs: Large-Scale Pretrained Audio Neural Netwo原创 2020-09-23 20:41:33 · 1163 阅读 · 0 评论 -
pytorch 预训练模型集合(网络定义与预训练模型下载)
参考文章:Pytorch 预训练模型下载和加载github国内加速克隆及下载fastgit.orghttps://doc.fastgit.org/cnpmjs.orghttps://github.com.cnpmjs.org/gitclone.comhttps://gitclone.com/giteehttps://gitee.com/mirrors克隆加速(就是把github的基本地址替换为国内镜像的基本地址,具体资源的路径保持不变)#原地址git clone https://原创 2020-09-06 21:20:04 · 1340 阅读 · 0 评论 -
OCR相关
尝试体验了以下几个OCR工具。1、小程序:openAI接口技术特点:调用了openAI的接口小结: 名片识别功能基本可以,对电话、QQ、地址等结构化信息识别较好,对非结构化信息(如业务范围、标语等)识别不好。能一定程度降低工作量,需要手动对识别结果做一定的调整2、百度 OCR接口对于中文名片中的常识理解更好。对英文支持差一些。识别结果:‘NAME’: [‘信洪坡’],‘TITLE’: [‘维修技师’],‘MOBILE’: [‘15864179712’, ‘15864179712’原创 2020-08-19 12:05:43 · 525 阅读 · 0 评论 -
matplotlib 画混淆图
使用python matplotlib绘制混淆矩阵—x亲测可用Python绘制热点图【混淆矩阵】使用python绘制混淆矩阵(confusion_matrix)原创 2020-08-19 10:36:36 · 392 阅读 · 0 评论 -
了解NVIDAI显卡驱动(包括:CUDA、CUDA Driver、CUDA Toolkit、CUDNN、NCVV),以及CUDA安装教程
Ubuntu环境下CUDA10.2的安装基本按照该教程即可注意点:使用deb安装包,自带cuda版本。(最好不要事先安装显卡驱动,以免和cuda自带的显卡驱动冲突)原创 2020-07-20 11:46:46 · 1261 阅读 · 0 评论 -
学习率与batchsize的关系(batchsize越大,lr越大)
batch size 越大,学习率也要越大如何理解深度学习分布式训练中的large batch size与learning rate的关系?关键理解:在分布式训练中,batch size 随着数据并行的worker增加而增大,假设baseline的batch size为B,learning rate为lr,训练epoch数为N。如果保持baseline(小batchsize)的learning rate,一般不会有较好的收敛速度和精度。原因如下:对于收敛速度,假设k个worker,每次过的sa原创 2020-07-14 20:03:07 · 30623 阅读 · 1 评论 -
数据增广(数据增强)方式
青出于蓝而胜于蓝,超越MixUp、CutMix的样本混合数据增广新算法FMix原创 2020-06-18 22:11:56 · 4832 阅读 · 0 评论 -
知识蒸馏综述
参考:知识蒸馏简述(一)知识蒸馏简述(二)知识蒸馏是什么?一份入门随笔【经典简读】知识蒸馏(Knowledge Distillation) 经典之作(xys:关于温度T的讨论)原创 2020-06-16 22:20:30 · 1240 阅读 · 1 评论 -
pytorch并行处理详解(多GPU,环境变量)
PyTorch默认使用从0开始的GPU,且默认只使用0号GPU。如果要使用其他编号的GPU或者使用多块GPU,则要设置。pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。DataParallel 会自动拆分数据,并将作业订单发送到多个GPU上的多个模型。 在每个模型完成它们的工作之后,DataPar..原创 2020-06-09 11:53:20 · 14421 阅读 · 4 评论 -
FGVC---Bilinear Pooling (双线性池化)及其发展
这里写目录标题基本的Bilinear CNN降低维度Compact Bilinear Pooling-CVPR2016Low-rank Bilinear Pooling for Fine-Grained Classification-CVPR2017跨层双线性池化Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition-EC...原创 2020-04-23 19:36:26 · 5687 阅读 · 1 评论 -
automl-神经架构搜索(NAS)-综述
综述文章Neural Architecture Search: A Survey (神经网络结构搜索survey)神经架构搜索的几个研究视角搜索空间/模型结构搜索空间定义了NAS算法可以搜索的神经网络的类型,同时也定义了应该如何描述神经网络结构。神经网络所实现的计算可以抽象成一个无孤立节点的有向无环图(DAG),图的节点代表神经网络的层(卷积网络中的特征图),边代表数据的流动(进行的...原创 2020-02-18 08:07:06 · 1227 阅读 · 0 评论 -
automl-进化学习-论文笔记- EAT-NAS: Elastic Architecture Transfer for Accelerating Large-scale Neural Archite
华中科大提出EAT-NAS方法:提升大规模神经模型搜索速度背景许多现有的NAS方法通过在小规模数据库上进行结构搜索,然后针对大规模数据库对深度和宽度进行手动调整。这一机制广泛的应用于NAS领域。但是由于大规模数据库与小规模数据库之间域的不同,在小规模数据库上的模型搜索算法应用于大规模数据库时,并不能保证其效果。共享与创新在这篇论文中,作者针上述的限制,提出了一种更合理的解决方案。作者使用迁...原创 2020-02-16 20:53:11 · 295 阅读 · 0 评论 -
automl-演化算法-genetic CNN-论文笔记
NAS论文笔记——Genetic CNN原文中对于基因编码的示例好像有错误,而应该如下图所示:(来自:Genetic CNN)原创 2020-02-15 21:01:52 · 647 阅读 · 0 评论 -
automl-darts路线
Gradient:Searching for A Robust Neural Architecture in Four GPU Hours | [CVPR 2019]D-X-Y/GDAS | [Pytorch]ASAP: Architecture Search, Anneal and Prune | [2019/04]Single-Path NAS: Designing Har...原创 2020-02-13 20:19:58 · 480 阅读 · 0 评论 -
Automl---模型评估/搜索加速(态射、one-shot、参数分享)
权重继承学习AutoML系统设计的四种不同技术(三)权重继承—渐变(morphism) 渐变是网络架构的生成方法,其对应的评估加速技术是权重继承auto-keras就是用的渐变以及权重继承来做神经架构搜索的: Auto-Keras: An Efficient Neural Architecture Search System参数共享学习AutoML系统设计的四种不同技术(四)共享参...原创 2020-02-04 23:19:12 · 812 阅读 · 1 评论 -
sklearn中的merics
目录balanced accuracykappa 系数详解sklearn中的merics—超链接到sklearn官方文档balanced accuracy准确率的局限性:当负样本占 99% 时,分类器把所有样本都预测为负样本也可以获得 99% 的准确率。所以,当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响精度的最主要因素。虽然模型的整体分类精度高,但不代表对占比小的类别的分类精度...原创 2020-01-15 12:55:07 · 368 阅读 · 0 评论 -
automl-演化算法-多目标
NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm论文笔记:NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm原创 2020-01-08 23:10:39 · 539 阅读 · 0 评论 -
超参数优---贝叶斯优化及其改进(PBT优化)
贝叶斯优化参考文献:自动机器学习超参数调整(贝叶斯优化)—介绍了例子贝叶斯优化(Bayesian Optimization)深入理解贝叶斯优化(BayesianOptimization)简介所谓优化,实际上就是一个求极值的过程,数据科学的很多时候就是求极值的问题。那么怎么求极值呢?很显然,很容易想到求导数,这是一个好方法,但是求导即基于梯度的优化的条件是函数形式已知才能求出导数,并且函...原创 2020-01-08 21:14:34 · 29071 阅读 · 2 评论