![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Deep Learning
文章平均质量分 90
深度学习相关知识
捡起一束光
某985本硕,热爱分享推荐系统、自然语言处理等优质内容的算法工程师
展开
-
你必须要知道CNN模型:ResNet残差网络
引入ResNet后,因为加入了跳转或者说高速公路,所以在算梯度的时候,底层W的梯度可以直接让loss从高速公路反传过来,就不需要一定把中间很多卷积层走完。所以说在一开始的时候,我最下面的层也会拿到比较大的梯度,就是因为我加入了高速公路。因此无论你模型有多深,我下面的层都能做参数的更新。ResNet在PyTorch的官方代码中共有5种不同深度的结构,深度分别为18、34、50、101、152(各种网络的深度指的是“ResNet-18,ResNet-34,ResNet-50都可以用做CV中的图片特征提取器。原创 2022-11-02 10:07:06 · 1799 阅读 · 0 评论 -
浅谈NLP新范式:Prompt Learning模板学习
为了解决上下游任务不一致的问题,研究者就想尽了各种办法。假定我们在不能改变预训练模型的情况下,上游任务有MASK token,上游任务又不能变(因为重新训练大规模模型代价太大),那我们在下游任务中添加MASK token不就好了嘛,这就是Prompt的一种用法。原创 2022-10-09 10:31:21 · 939 阅读 · 0 评论 -
【ICML 2020对比学习论文解读】SimCLR: A Simple Framework for Contrastive Learning of Visual Representations
对比学习是一种自监督学习方法,在无标签数据集上仍可以学习到较好的表征。对比学习的主要思想就是相似的样本的向量距离要近,不相似的要远,以此获得数据的高阶信息。原创 2022-10-09 10:16:34 · 1307 阅读 · 0 评论 -
NLP漫谈系列:BERT预训练模型的原理真的很难理解吗
BERT的目的是预训练Transformer模型的Encoder网络,从而大幅提高准确率。经过BERT预训练后的Encoder网络相当于有了一组比较好的初始化参数,已经能体现出单词之间的相关性了。原创 2021-12-19 11:33:06 · 1809 阅读 · 0 评论 -
Meta Learning:元学习模型MAML和Reptile详解
元学习常见模型MAML要做的事情是学习一个“好”的初始化参数。以前我们是训练一个模型,然后让这个模型的参数\thetaθ最优,而现在我们训练MAML是希望初始化参数\phi最优,这样就可以实现“快速学习”(使用来自新任务的少量数据就能解决学习任务,而且只需要几步梯度下降就能得到好的泛化效果......原创 2022-01-16 13:46:09 · 5892 阅读 · 2 评论 -
透彻理解机器学习中极大似然估计MLE的原理(附3D可视化代码)
在机器学习中,我们经常会遇到极大似然估计(Maximum Likelihood Estimation, MLE),本文将带你好好理解这个概念。极大似然估计的依据:概率最大的事件最有可能发生,或者说真实发生的事情总是概率最大的...原创 2021-12-27 18:27:31 · 3055 阅读 · 0 评论 -
【ICLR 2017图神经网络论文解读】Semi-Supervised Classification with Graph Convolutional Networks (GCN) 图卷积网络
GCN是图神经网络领域最经典的论文,值得我们好好阅读!原创 2021-12-25 14:35:50 · 1054 阅读 · 0 评论 -
【NIPS 2016图神经网络论文解读】Variational Graph Auto-Encoders (VGAE) 基于VAE的图变分自编码器
Thomas N. Kipf大佬不仅是这篇VGAE的作者,而且还是大名鼎鼎GCN模型的作者。VGAE是GCN在Variational Graph Auto-Encoders (VAE)的应用。原创 2021-12-25 10:26:54 · 5693 阅读 · 0 评论 -
监督学习中判别式模型和生成式模型的区别 | 无监督学习的生成模型GAN、VAE(生成样本)
文章目录一、监督学习中的判别式模型和生成式模型1.1 判别式模型(线性回归、SVM、NN)1.2 生成式模型(朴素贝叶斯、HMM)二、无监督学习中的生成式模型参考资料一、监督学习中的判别式模型和生成式模型有监督学习可以分为两类:判别模型和生成模型,我们所熟悉的神经网络,支持向量机和logistic regression,决策树等都是判别模型。而朴素贝叶斯和隐马尔可夫模型则属于生成式模型1.1 判别式模型(线性回归、SVM、NN)判别式模型由数据直接学习P(y∣x)P(y|x)P(y∣x)来预测yy原创 2021-11-30 13:11:25 · 3246 阅读 · 0 评论 -
迁移学习之Multi-Domain Adaptation多领域自适应常用数据集PACS介绍
PACS数据集数据集下载:https://github.com/MachineLearning2020/Homework3-PACS/tree/master/PACS总共9991张图片7 classes:Dog, Elephant, Giraffe, Guitar, Horse, House, Person4 domains: Art painting, Cartoon, Photo and Sketch.下面以dog类别为例,用Python代码展示四种不同风格的图片Python可视化图片原创 2021-11-15 23:02:06 · 5881 阅读 · 0 评论 -
机器学习中AUC的计算方法总结 | 面积法与Wilcoxon-Mann-Witney Test公式法的等价证明
AUC除了面积法计算,还可以用AUC的性质来计算:测试任意给一个正类样本和一个负类样本,正类样本的score有多大的概率大于负类样本的score转载 2021-10-19 12:47:45 · 2097 阅读 · 2 评论 -
机器学习模型常用评估指标:Precision(精准率、查准率)和Recall(召回率、查全率)的理解和应用
Precision和Recall是矛盾统一的两个指标:为了提高Precision,分类器需要尽量在“很有把握”的时候才把样本当做正样本,但这样往往由于过于保守,会漏掉很多“没有把握的正样本”,导致你的召回率(Recall)降低。原创 2021-10-18 11:48:07 · 2813 阅读 · 0 评论 -
Pytorch踩坑记:赋值、浅拷贝、深拷贝三者的区别以及model.state_dict()和model.load_state_dict()的坑点
之前一直不太搞明白浅拷贝和赋值、深拷贝到底有什么区别,直到被pytorch的model.state_dict()给坑了今天在和实验室同学讨论联邦学习框架代码的时候,终于明白了他们之间的区别,这里做个记录。.........原创 2021-03-31 10:13:54 · 18541 阅读 · 11 评论 -
《统计学习方法》第10章 隐马尔科夫模型 HMM算法 纯Python代码实现 + 前后向算法矩阵形式 + 课后习题答案
《统计学习方法》第10章 隐马尔科夫模型,HMM算法矩阵写法,非常简洁,定义HiddenMarkov类... 习题演练...原创 2021-01-19 10:59:48 · 685 阅读 · 0 评论 -
【元学习之小样本学习】 当小样本遇上机器学习(Few-Shot Learning)
Few-Shot Learning的目标不是让机器识别训练集里的图片并且泛化到测试集,而是让机器学会学习。Few-Shot Learning学习的目的是让模型学会区分事物的异同,给两张图片不是让模型识别出这两张图片具体是什么,而是让模型知道这两张图片是相同的东西还是不同的东西。.........原创 2020-12-24 12:27:40 · 1301 阅读 · 2 评论 -
详解Docker镜像推送push到Docker Hub
docker容器内的所有文件和配置环境可以打包成一个镜像,并上传到dockerhub,供其他电脑直接下载使用文章目录1. 注册dockerhub账号2. 验证dockerhub身份3. commit打包运行中容器为个人镜像4. tag更改镜像名:版本号5. push推送镜像6. 更新镜像仓库7. pull拉取镜像参考资料原创 2020-10-09 10:59:50 · 2447 阅读 · 0 评论 -
本地ssh连接远程服务器jupyter notebook - ssh端口转发
做深度学习的人通常要在服务器运行代码,而jupyter notebook会是一个很好的交互工具,那么如何在本地浏览器访问服务器的jupyter notebook呢?上面我是通过打开安全组的8081端口,来实现用公网ip:8081在本地浏览器访问远端jupyter notebook但是这有一点风险性。比较好的方法是公网只开放22端口(用于登录服务器界面),而私网的所有端口都是开放的,用本地端口转发。ssh -L [本地IP]:本地Port:远程IP:远程Port root@xxx原创 2020-10-07 10:39:56 · 2253 阅读 · 2 评论 -
Weka在数据挖掘中的应用-学习笔记
文章目录1.1 Introduction1.2 Exploring the Explorer1.3 Exploring datasets1.4 Building a classifier1.5 Using a filter1.6 Visualizing your data2.1 Be a classifier2.2 Training and testing2.3 Repeated training...原创 2020-03-29 17:45:40 · 2059 阅读 · 1 评论 -
【人脸识别】用非常简短的Python代码实现人脸检测
写在前面python代码很简短,不像C++等要写几百行代码,但其实你调用的模块,底层都是用C/C++写的如果imshow出现qt.qpa.plugin: Could not find the Qt platform plugin “cocoa” in ""的报错,请看:Stackoverflow解决方案请提前安装好opencv-python库由于历史原因opencv-python库使用...原创 2020-02-18 15:11:48 · 657 阅读 · 3 评论