![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习入门
书籍学习笔记专栏,有关深度学习知识,或深度学习组件。主要包含但不限于深度学习入门这本书的知识的记录
李子树下mini
这个作者很懒,什么都没留下…
展开
-
图-自监督对比学习-预训练的学习参考
论文阅读|浅谈图上的自监督学习——对比学习:https://zhuanlan.zhihu.com/p/187247235图神经网络的预训练:https://zhuanlan.zhihu.com/p/214245325原创 2021-09-27 11:29:00 · 471 阅读 · 0 评论 -
对比学习的思想
参考:https://blog.csdn.net/weixin_41803874/article/details/107692319生成方法 vs 对比方法当代的自监督学习方法大致可以分为两类:对比学习思想对比方法如何工作?即,最终目标是,缩小与正样本间的距离,扩大与负样本间的距离,使正样本与锚点的距离远远小于负样本与锚点的距离,(或使正样本与锚点的相似度远远大于负样本与锚点的相似度),从而达到他们间原有空间分布的真实距离。更正式地说,对于任何数据点x,对比方法的目的是学习编码器f:•原创 2021-09-27 11:26:26 · 516 阅读 · 0 评论 -
the meaning of training pairs
Each training pair consists of input data together with the corresponding target . The goal of the algorithm is to learn a mapping from the input data to the target value so that the target ⁎ for some unseen data ⁎ can be predicted.原创 2021-09-10 16:24:25 · 139 阅读 · 0 评论 -
矩阵距离——计算高维样本之间的距离
前言关于这部分,我自己并没有很懂,目前网上找到的资料和博客,我并没有完全领会,所以这篇博客只能算是学习过程的简略版。(以后更懂再更新)计算矩阵距离函数 返回 任意两个点之间距离的平方import numpy as npdef cal_parwise_dist(x): # (a-b)^2 = a^2 + b^2 - 2*a*b 很多地方这样子备注,但是从矩阵角度看似乎也是对的?后面的《扩展了解》部分有推导 # param x: 矩阵matrix sum_x = np.sum原创 2021-05-12 20:22:37 · 3629 阅读 · 2 评论 -
输出层的激活函数——softmax函数
概括机器学习的问题大致可以分为分类问题和回归问题。分类问题是数据属于哪一个类别的问题。比如,区分图像中的人是男性还是女性的问题就是分类问题。而回归问题是根据某个输入预测一个(连续的)数值的问题。比如,根据一个人的图像预测这个人的体重问题是回归问题(类似“57.4kg”这样的预测)。输出层所用的激活函数,根据求解问题的性质决定。一般,回归问题可以用恒等函数,二元分类问题可以用sigmoid函数,多元分类问题可以用softmax函数。恒等函数:输出=输入softmax函数:输出为一个函数其中exp原创 2021-05-07 23:51:25 · 4793 阅读 · 1 评论 -
3层神经网络简单实现——代码小结
权重和偏置的初始化保存了每一层所需的参数(权重和偏置),并将其保存在字典变量network里权重:控制输入信号的重要性参数偏置:调整神经元被激活的难易程度def init_network(): network = {} network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]]) network['b1'] = np.array([0.1,0.2,0.3]) network['W2'] = np.array([[0原创 2021-05-07 22:31:43 · 343 阅读 · 0 评论 -
numpy技巧_DeepLearn_Python
astype函数astype函数用于array中数值类型转换例子通过代码实现感知机的阶跃函数def step_function(x): if x>0: return 1 else: return 0上述函数参数X只接受浮点数(实数),step_function(3.0),不允许参数取numpy数组,例如step_function(np.array([-1.0,1.0]))。问题:需要将其修改为支持numpy数组的实现修改后:def st原创 2021-04-17 16:02:18 · 214 阅读 · 0 评论