深度学习
war3gu
10年游戏开发经验,现使用cocos2dx开发手机游戏。
展开
-
深度学习攻击和防御
白盒子攻击Non-targeted attack 调整图片的像素,使输出与正确答案越远越好Targeted attack 调整图片的像素,使输出与正确答案越远越好,与错误答案越近越好调整后的图片与原图片距离要足够小。距离定义一般有2种方法:L2-norm,平方和, L-infinity 最大值具体算法:还是正常的梯度下降,但是如果超出了调整距离范围,就把它拉回来解释:...原创 2019-05-30 14:50:23 · 2009 阅读 · 0 评论 -
深度学习可解释性
local explanation方法1:用小方块盖住图片的一块区域,看看模型还能不能正确识别图片,如果不能,说明这块区域很重要方法2:Saliency Map 求图片的正确识别结果对图片上每个像素的梯度,梯度绝对值越大越重要。限制,稍微长点的鼻子就可以识别为大象,更长的鼻子部分的梯度有可能变得非常小。可能被攻击,加上噪音,卡车识别正确,但是因为是云彩global explanation方...原创 2019-05-30 14:52:39 · 2464 阅读 · 0 评论 -
深度学习异常检测
有label的数据:确定一个信心分数阈值,Classifier得出的信心分数大于阈值,才表明是正常数据如何确定信心分数阈值:先定义一个cost table,表明false alarm和missing的得分,根据cost table计算特定阈值的得分,使用得分最高者阈值无label的数据:方法1: 假设数据符合高斯分布,最大化似然函数,得到均值和标准差,然后根据统计再定义一个阈值,就可以判...原创 2019-05-30 14:54:06 · 5315 阅读 · 0 评论 -
受限玻尔兹曼机
类似一个autoencoder,但是压缩的结果是不定的,每个节点符合伯努利分布首先,根据能量函数,能量越大,出现的概率越低,给出的是显层和隐层的联合概率分布,据此可以得出,显层和隐层的条件概率分布如何训练:先根据显层预测隐层再根据隐层预测显层w = w + r*(两次显层的差值)推荐系统的应用假设一个人有N个物品有评分,M个物品无评分,就将这个人的N个物品评分放入受限玻尔兹曼机中进行...原创 2019-05-30 14:56:44 · 136 阅读 · 0 评论 -
auto encoder
Deep auto-encoder 与受限玻尔兹曼机有点像,都可以进行信息的压缩,都可以用作pre-trainning.区别在于受限玻尔兹曼机是无向图模型,而Deep auto-encoder是一种神经网络,中间特别窄的bottle neck的数据作为压缩的codeencoder 与 decoder 的参数可以相互独立,也可以互为逆数字图片 auto-encoder,越是deep的auto-e...原创 2019-05-30 14:59:36 · 316 阅读 · 0 评论 -
SVM
两种理解:1.寻找一个超平面可以把类分开,并且间隔最大。最后转化为一个式子maxmin,这是一个二次规划问题,凸优化,可以得到解析解2.就是一个深度学习问题,可以通过BP算法学得权重w。其中的loss function 使用hinge loss, max(0, 1-y^*f(x))最初的问题是 g(x) = f(x) > 0 Output = +1g(x) = f(x) <0...原创 2019-05-30 15:01:27 · 153 阅读 · 0 评论 -
vae个人理解
input data的分布空间是不定的,但是latent vector的分布空间,是可以进行人为的设定。之前的normal autoencoder,对latent vector的分布空间没有要求,编码器参数灵活度比较高,现在对latent vector的分布空间进行了限制,那么编码器参数灵活度也就被限制了。...原创 2019-05-29 15:25:42 · 1101 阅读 · 0 评论 -
集成学习
bagging方法bagging也叫自举汇聚法(bootstrap aggregating),是一种在原始数据集上通过有放回抽样重新选出S个新数据集来训练分类器的集成技术。也就是说这些新数据集是允许重复的。使用训练出来的分类器集合来对新样本进行分类,然后用多数投票或者对输出求均值的方法统计所有分类器的分类结果,结果最高的类别即为最终标签。boosting方法分类器集合是在迭代中串行地产生的...原创 2019-05-29 15:37:21 · 113 阅读 · 0 评论 -
卷积神经网络CNN
卷积核往往代表一个特征,比如某个卷积和代表一段弧,那么把这个卷积核在整个图片上滚一下,卷积值较大的区域就很有可能是一段弧采样的目的主要是混淆特征的具体位置,因为某个特征找出来后,它的具体位置已经不重要了,我们只需要这个特征与其他的相对位置,比如一个“8”,当我们得到了上面一个"o"时,我们不需要知道它在图像的具体位置,只需要知道它下面又是一个“o”我们就可以知道是一个’8’了,因为图片中"8"在...原创 2019-05-29 15:39:17 · 211 阅读 · 0 评论