- 博客(22)
- 收藏
- 关注
RSS订阅原创 tensorflow 遇到的坑之 autograph
记录tensorflow中有关autograph的坑tensorflow 2.0 之前使用session构建计算图，构建过程非常复杂，把 python 变得和 C++ 一样复杂。tensorflow 2.0 之后引入autograph，只需要在函数声明前加上 tf.function，就可以将我们的函数自动转为计算图。看起来比 session 要更接近 python，但转计算图过程中的错误非常难定位找到原因。下面记录一下，我使用 autograph 遇到的坑。...
2020-10-27 11:29:40
1728
3
原创 Part III - 2. Autoencoders
Autoencoders1、欠完备自编码器（Undercomplete Autoencoders）自编码器是神经网络的一种，用于重构训练数据（reconstruction），其有一个描述编码的隐藏层，该编码用于表示输入。该网络由两个部分组成，编码器 h=f(x)\boldsymbol{h}=f(\boldsymbol{x})h=f(x)、解码器 r=g(h)\boldsymbol{r}=g(\boldsymbol{h})r=g(h)，如下图1、欠完备自编码器（Undercomplete Autoenc
2020-09-18 21:33:37
236
原创 四、卷积神经网路 (Convolutional networks (CNN))
卷积神经网路1、卷积操作简单来说，卷积神经网路是神经网路至少有一层的矩阵乘操作替换卷积操作（convolution）。1、卷积操作卷积操作常见表示形式是两个实值函数之间的操作。下面以一个简单的问题解释卷积操作。假设我们使用激光传感器来追踪一个飞船的位置，由此得到飞船位置关于时间的函数 x(t)x(t)x(t)。并且传感器工作在有噪声的环境里，为了降低噪声的影响，我们将采取加权平均来给予最近测量更大的权重。假设权重函数为 w(a)w(a)w(a)，其中 aaa 是测量发生的时间。我们得到以下公式来预测
2020-08-24 23:49:50
824
原创 Paper notes: Towards Evaluating the Robustness of Neural Networks
Summary这篇论文引入了一种新的对抗攻击方法，Carlini and Wagner Attack (CW)，该方法比之前提出的攻击方法都要高效且所产生的对抗样本有较小的扰动总量。在此之前，defensively distilled model 很有效地防御 4 种 stat-of-art 攻击方法，但在对抗新攻击方法时，distillation 提供了非常有限的保护 。该攻击方法可公式化为，minimize∥δ∥p+c⋅f(x+δ)subject tox+δ∈[0,1]nminimize \
2020-08-21 17:23:03
241
原创 Paper review: Adversarial Examples In The Physical World
SummaryStrengthWeaknessComment
2020-08-15 22:21:06
181
原创 Paper review: Explaining And Harnessing Adversarial Examples
SummaryStrengthWeaknessComments
2020-08-14 11:53:14
195
原创 Paper review: Using Honeypots to Catch Adversarial Attacks on Neural Network
Gotta Catch ’Em All: Using Honeypots to Catch Adversarial Attacks on Neural NetworkSummaryStrengthWeaknessCommentSummaryStrengthWeaknessComment
2020-08-09 18:11:46
619
原创 L Norms 范数
Norms 范数L1L^1L1 范数L2L^2L2 范数L∞L^\infinL∞ 范数Frobenius 范数在机器学习中，我们经常使用被称为范数（ norm）的函数衡量向量大小。LpL^pLp 范数定义如下：∥x∥p=(∑i∣xi∣p)1p\|\boldsymbol{x}\|_p=\Big(\displaystyle\sum_i|x_i|^p\Big)^\frac{1}{p}∥x∥p=(i∑∣xi∣p)p1其中 p∈R，p≥1p\in\mathbb{R}，p\geq 1p∈R，p≥1范数是将向
2020-08-05 19:23:17
1623
原创 一些常见的概率分布
高斯分布维护相关 待补充。。。。引用于https://blog.csdn.net/joymakleson/article/details/107532547
2020-07-26 20:51:30
181
原创 一些常见函数的有用性质
一些常见函数的有用性质维护相关 待补充。。。。引用于https://blog.csdn.net/joymakleson/article/details/107532547
2020-07-24 18:16:27
385
原创 交叉熵
交叉熵维护相关 待补充。。。。引用于https://blog.csdn.net/joymakleson/article/details/107501026
2020-07-24 10:34:58
107
原创 变分法
变分法维护相关 待补充。。。。引用于https://blog.csdn.net/joymakleson/article/details/107501026
2020-07-24 10:10:22
137
原创 最大似然估计
最大似然估计维护相关 待补充。。。。引用于https://blog.csdn.net/joymakleson/article/details/107501026
2020-07-23 21:05:22
96
原创 凸优化与非凸优化
凸优化与非凸优化理论上，凸优化从任何一种初始参数出发都会收敛，但实际中会遇到一些数值问题。而用于非凸损失函数的随机梯度下降算法没有这种收敛性保证，并且对参数的初始值很敏感。 待补充。。。...
2020-07-23 19:37:16
664
原创 二、深度前馈网络——Part I
深度前馈神经网络前馈神经网络（Feedforward Networks）克服了线性模型的局限性。线性模型，例如逻辑回归和线性回归，虽然能通过闭式解或者凸优化达到高效且可靠地拟合，但也有明显的缺陷，那就是该模型的能力被局限在线性函数中，无法理解任何两个输入变量的相互作用。神经网络引入非线性变换，将原始输入进行非线性变换的基础上再进行学习。...
2020-07-23 13:20:19
446
1
原创 一、促使深度学习发展的挑战
促使深度学习发展的挑战促使深度学习发展的挑战1、维数灾难2、局部不变性和平滑正则化3、流形学习促使深度学习发展的挑战深度学习的产生是为了解决传统机器学习算法无法处理的复杂AI任务，所以促使深度学习发展的挑战即为传统机器学习面临的难题。1、维数灾难我们将完整的样本空间看作是由大小相同的方块组成，一个方块代表一个样本。如下图所示，左图为一维样本空间，中图为二维样本空间，右图为三维样本空间。图中每个方块表示一个样本，空白区域表示缺失对应训练样本。可以看出，随着维度的提高，样本空间样本总数呈指数级上升，
2020-07-21 22:55:29
332
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人