![](https://img-blog.csdnimg.cn/20210113100047901.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 84
每天进步一点点
外卖猿
这个作者很懒,什么都没留下…
展开
-
Diffusion model之DDPM
DDPM(Denoising Diffusion Probabilistic Models)扩散模型由两个过程组成:forward process(diffusion process)以及reverse process。forward process用于以markov链的形式向原始数据逐渐添加高斯噪声;reverse process接受随机噪声,生成目标数据(如图片)。本文介绍均以图片为例。原创 2023-03-09 18:22:32 · 1119 阅读 · 0 评论 -
low_n/Unirep
这里写自定义目录标题1.术语2.涉及模型2.具体实现1.术语WT:wild-typeEvotuning:Evolutionary fine tuningJackHMMER:用于寻找同源序列Evotune:select a subset of public sequences that are closer to the target protein and then fine tune the globally pre-trained weights on the UniRep multipli原创 2022-04-12 14:03:18 · 381 阅读 · 0 评论 -
RNA二级结构系列(1):基础知识篇
RNA二级结构预测系列:基础篇1. RNA的结构1.1 DNA-RNA-蛋白质1.2 RNA的三级结构2. RNA二级结构的常见表示方法2.1 CT (Connectivity Table) 文件表示法2.2 点括号(Dot Bracket)法2.3 平面图与matrix representations(矩阵表示)参考文献1. RNA的结构1.1 DNA-RNA-蛋白质1.2 RNA的三级结构RNA序列由四种碱基组成,分别是腺嘌呤,胞嘧啶,鸟嘌呤和尿嘧啶。这四种碱基组成的序列就是RNA序列,也原创 2022-01-30 10:36:48 · 8091 阅读 · 0 评论 -
寻找更好的分类模型loss
paper中所述,该loss更关注各类是否separated,而非不同类之间距离远/相同类聚类更近这样的模式识别分类基本要求。其在MNIST数据集上表现如下,感觉不够惊喜,与CE-LOSS相差不大,并没有达到所提出的类内compact,类间dispense这样的程度。整体来说它的策略也很简单,即除了CE,再额外一部分损失,该损失是为了使得某一层学习到的特征及学习到center之间距离尽可能接近。,git中也展示了mnist数据集上,使用center-loss前后的效果。它的pytorch实现可参考。原创 2022-11-21 19:09:44 · 993 阅读 · 0 评论 -
从零开始学GNN
GNN入门及常用模型介绍原创 2022-10-19 18:03:18 · 664 阅读 · 0 评论 -
图片的谱表征
通过学习此文,可以深入理解下图神经网络中谱空间模型。原创 2022-10-19 11:34:49 · 736 阅读 · 0 评论 -
pytorch乘积运算
之前写了一篇,对numpy中各乘法算子进行了介绍。最近在学习图神经网络GNN/pytorch,其中也涉及了不少乘法算子,以作总结。原创 2022-10-11 19:06:15 · 725 阅读 · 0 评论 -
图神经网络GNN简介
首先推荐一篇GNN综述性的文章:A Comprehensive Survey on Graph NeuralNetworks。pyg和dgl是比较火的两个图神经网络仓库。原创 2022-10-09 18:37:28 · 1914 阅读 · 8 评论 -
图神经网络torch_geometric库的使用
pytorch-geometric使用。原创 2022-09-15 16:54:57 · 771 阅读 · 0 评论 -
wavenet及TCN
RNN/LSTM在时序相关任务中可以说是优选模型。那么CNN是否可以达到甚至超越这些模型在时序类任务中的效果呢?今天就简单介绍两个模型,它们主要通过模块—dilated causal conv的多层叠加,来增加感受野,达到捕获时序特征的能力。wavenet由 deepmind 出品,原论文首先将其应用在了 Text-to-Speech 任务。wavenet是一种全卷积的模型,包含了多个多层如下dilated的结构,随着dilated conv深度增加,来指数性地增大感受野,捕获序列之间较长的时间关系。...原创 2022-07-04 16:31:42 · 2491 阅读 · 0 评论 -
深度学习lr scheduler 介绍
lr_scheduler1.WarmupLinearScheduler参考文献lr_scheduler在深度学习模型中经常遇到,虽粗通其理,然未解其中奥秘。简单整理,冀假以时日,略加参悟。1.WarmupLinearScheduler代码参考自https://github.com/huggingface/transformers/blob/main/src/transformers/optimization.py的get_linear_schedule_with_warmup部分。t_total原创 2022-05-27 09:57:00 · 2282 阅读 · 0 评论 -
python utils工具箱
在深度学习做项目或学习中,需要经常下载一些链接文件,如数据集、预训练模型等,此blog收集了相关内容。下载链接文件1.从aws链接中下载指定文件2.克隆git中的项目到本地参考文献1.从aws链接中下载指定文件import requestsos.mkdir("fluorescence-model")# URL for BERT GFP fluorescence modelgfp_model_path = "https://fluorescence-model.s3.amazonaws.com/原创 2022-05-11 11:37:56 · 467 阅读 · 0 评论 -
python读取特殊格式文件
python读取特殊格式文件1.pytorch读取lmdb格式文件参考文献做深度学习/数据分析,数据读取是基础、必需的一环。特整理,以待后用。1.pytorch读取lmdb格式文件内容来源于songlab-cal/tape。from torch.utils.data import Datasetfrom typing import Union, List, Tuple, Sequence, Dict, Any, Optional, Collectionfrom pathlib import Pa原创 2022-04-27 10:47:08 · 738 阅读 · 0 评论 -
Deep Dive into Pytorch RNN/LSTM
RNN/LSTM1.1.RNN与mRNN2.LSTM与mLSTM参考文献1.1.RNN与mRNNmRNN(Multiplicative Recurrent Neural Network)原论文见参考1,其改进在于:introduce a new RNN variant that uses multiplicative (or “gated”) connections which allow the current input character to determine the transiti原创 2022-04-21 17:03:47 · 1205 阅读 · 0 评论 -
小目标检测学习
小目标检测 数据增强 1.基于copy_pasted策略的Data_Augmentation1.1 代码1.1.1 加载相关库及设置变量、参数1.1.2 图片及bbox的显示1.1.3 实现SmallObject_Augmentation核心部分1.1.4 用真实图片调用程序查看效果参考文献1.基于copy_pasted策略的Data_Augmentation此部分学习了Github Data_Augmentation_Zoo_for_Object_Detection的心得,相关paper见Augmen原创 2021-07-02 20:04:23 · 595 阅读 · 0 评论 -
AI常用指标(metric)python实现汇总
AI常用指标(metric)python实现1.混淆矩阵(confusion matrix)1.1 skleran 官方API1.2 自定义函数1.3 其他参考文献1.混淆矩阵(confusion matrix)混淆矩阵是分类及语义分割任务中的常用指标。1.1 skleran 官方API见参考1,官方示例如下:from sklearn.metrics import confusion_matrixy_true = [2, 0, 2, 2, 0, 1]y_pred = [0, 0, 2, 2,原创 2021-06-29 09:25:21 · 976 阅读 · 0 评论 -
CBAM简介及pytorch实现
CBAM pytorch实现1.CBAM块简介1.1 Channel Attention Module(CAM)1.2 Spatial Attention Module(SAM)2.pytorch实现代码3.netron可视化参考文献1.CBAM块简介在YOLO-V4的接触过程中,注意到了CBAM1这个注意力机制模块。看了下CBAM官方pytorch实现,稍显繁琐,在此基础上略作改进。本人关于YOLO_V4 的介绍见YOLO_V4 入手贴。此块非常简洁,即一个channel attention块串原创 2021-05-14 10:48:15 · 5581 阅读 · 0 评论 -
举例说明VOC格式数据集 mAP metric的实现过程
举例说明VOC格式数据集 mAP metric的实现过程1.mAP1是目标检测任务中的重要衡量指标,有必要对其实现过程进行深入了解。本blog通过实例,对其计算过程进行刨根问底式说明。1.mAP:mean Average Precision ↩︎...原创 2021-05-12 21:24:54 · 1464 阅读 · 0 评论 -
YOLO_V4 入手贴
YOLO_V4 入手贴1.图像增效 Mosaic参考文献此blog主要参考YOLO_v4作者Chien-Yao Wang的pytorch实现。由于此GitHub是在ultralytics的YOLO代码基础上完成的,因此还是免不了要对其实现细致了解下。1.图像增效 MosaicMosaic从实现效果来看比较轻松,就是将四张图片放到一张图上。但是ultralytics的代码实现看起来比较复杂。因此这一段单独拎出来具体看下。为了说明效果,抽出几张图片及其gt分别放在对应的文件,如下:下面的代码原创 2021-05-01 18:27:08 · 1720 阅读 · 1 评论 -
Faster R-CNN学习笔记
Faster R-CNN学习笔记1.模型的总体结构2.关于Faster R-CNN的anchor参考文献经典的目标检测模型,有必要庖丁解牛般深入学习下。1.模型的总体结构2.关于Faster R-CNN的anchor由于Faster R-CNN中没有multi-scale 特征图的概念,其anchor仅为对anchor_base在参考文献...原创 2021-04-09 20:57:56 · 343 阅读 · 0 评论 -
torchnet工具包使用
torchnet工具包使用1.混淆矩阵(confusion matrix)举例说明torchnet工具包的使用方法。1.混淆矩阵(confusion matrix)"""Computes the confusion matrix of K x K size where K is no of classesArgs: predicted (tensor): Can be an N x K tensor of predicted scores obtained from the原创 2021-04-08 14:52:36 · 470 阅读 · 0 评论 -
深入拆解YOLO_V3
强拆YOLO_V31.关于在图片中加入bbox2.pred_box位置回归为哪般?参考文献这里拆解的代码来自GitHub eriklindernoren/PyTorch-YOLOv3。相对ultralytics版,我觉得更容易接受。当然也能看出此版使用python确实是出神入化。只是对于功底了了者,暂时搁置吧。1.关于在图片中加入bbox一种方法已经在图像增强 imgaug中介绍过了,使用imgaug确实很赞。另一种之前也介绍过了,收在cv2画图操作中,应该是ultralytics版本中get到的原创 2021-02-19 20:50:40 · 653 阅读 · 0 评论 -
pytorch 常用loss函数整理篇(三)
pytorch 常用loss函数整理篇(三)1.SSIM及MS-SSIM原理介绍2.SSIM及MS-SSIM Loss pytorch实现代码参考文献之前介绍的常用Loss函数见:pytorch 常用loss函数整理篇(一)pytorch 常用loss函数整理篇(二)本文主要介绍SSIM(structural similarity index)与MS-SSIM(multiscalestructural similarity index) Loss。SSIM和MS-SSIM,作为评价图像质量的重要指原创 2021-02-03 19:52:33 · 8163 阅读 · 0 评论 -
人工智能训练过程中的进度条(python)
人工智能模型训练过程中的进度条(python)1.基于print的进度条1.1 基础介绍1.2 代码举例2.使用sys.stdout.write进行打印2.1 一般情况2.2 存在多个sys.stdout.write的情况2.2.1 不符合预期的打印结果2.2.2 一般性的解决方法参考文献1.基于print的进度条1.1 基础介绍这里使用了转义字符\r,其目的是下次打印时从本行开头进行打印。如果print里设置end='',则不会换行,这时下次打印会对上次结果进行覆盖。如果print里设置end=原创 2020-12-11 10:58:23 · 4310 阅读 · 0 评论 -
pytorch visualizer 深度神经网络可视化工具
深度神经网络可视化工具原创 2020-12-02 14:24:28 · 6674 阅读 · 0 评论 -
pytorch 拾贝集
1.torch.clamp(input, min, max, out=None) → TensorClamp all elements in input into the range [ min, max ] and return a resulting tensor:例:a = torch.randn(4)a#tensor([-1.7718, 1.6657, -0.6174, 0.7067])torch.clamp(a, min=-0.5, max=0.5)#tensor([-0.500原创 2020-06-07 00:49:21 · 701 阅读 · 1 评论 -
pytorch 常用loss函数整理篇(二)
1.Dice Loss原创 2020-05-05 19:26:25 · 4595 阅读 · 1 评论 -
pytorch 常用loss函数整理篇(一)
loss函数大全参考文件平均绝对误差(MAE)/L1 Loss当torch.nn.L1Loss的参数reduction选择’sum’时即为L1 loss;当选择 ‘mean’ /'none’时,即为MAE。KaTeX parse error: Can't use function '\]' in math mode at position 74: …_i^p} \right|} \̲]̲............原创 2020-05-04 13:13:12 · 7940 阅读 · 0 评论 -
pytorch+win10+pip安装+基本使用 for 2080TI GPU
pytorch+win10+pip安装 for 2080TI GPU1.Pytorch安装2.CUDA安装3.cudnn安装4.安装过程中可能遇到的bug4.1 ImportError: numpy.core.multiarray failed to import参考文献新入手2块2080TI GPU1.Pytorch安装在https://pytorch.org/pytorch主页选择对应的torch及torchvision版本:pip install torch==1.7.0+cu101 tor原创 2020-11-27 17:10:45 · 3077 阅读 · 0 评论