- 博客(13)
- 收藏
- 关注
RSS订阅转载 PyCharm 2017.3环境配置同时使用python2.7和python3.6设置方法
PyCharm 2017.3环境配置同时使用python2.7和python3.6设置方法用python时，在github上面下载的程序往往python2 和3 都有，因此有必要装上两个版本。我使用的环境是PyCharm。第一步，新建了两个文件夹py27以及py36，分别存放Python2.7 以及Python3.6的程序。用file -->>open 导入两个项目文件夹。...
2018-07-19 09:55:46
1450
转载 从Java代码远程提交YARN MapReduce任务
在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面，上传到服务器，然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce，那么这个方法真是又土又麻烦。其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml...
2018-07-17 16:42:39
873
原创 Camera Style Adaptation for Person Re-identification-学习笔记
一、摘要 如果可以在训练集中增加更多样本来了解摄像机之间的风格差异，就能够解决个人身份识别中的数据稀缺问题，并学习不同摄像机之间的不变特征。本文使用cycleGAN完成镜头间图片转换，损失函数使用cycleGAN loss 和 identify mapping loss。增加数据多样性以防止过度拟合，但是也会产生相当程度的噪声。为了缓解这个问题，在改进后的版本中，进一步在样式转移样本...
2018-06-28 10:27:31
2095
原创 DGA深度学习相关论文
一、基于 word-hashing 的 DGA 僵尸网络深度检测模型 （2017） 主要贡献：基于word-hashing 将所有 域名转用二元语法字符串表示，利用词袋模型把域名映射到高维向量空间． 然后利用5 层深度神 经网络对转换为高维向量的域名进行训练分类检测。 通过深度模型，能够从训练数据中发现不同 层次抽象的隐藏模式和特征，而这些模式和特征使用传统的统计方法大多是无法发现的． ...
2018-06-12 10:56:46
1648
原创 调研-笔记-基于生成对抗网络的恶意域名训练数据生成
DGA 域名字符生成模型域名字符分析 问题：理论上 GAN 中的生成器和判别器部分采用任意可微函数都能表示，因此其主要用于连续数据的处理，如图像生成、视频检测等[13]。基于文本的离散数据处理一直是深度神经网络研究的难点之一。本文基于字符串的文本域名来构建生成网络， 在构造训练 GAN 之前，需要对域名数据样本做变换处理。 域名在构造上可分为两部分：主机名和域名（包括顶级域 及可能的二级域、三级域...
2018-06-12 10:46:41
2291
原创 学习笔记之Yarn命令
Yarn框架：YARN的基本思想是将资源管理和作业调度/监控的功能分解为单独的守护进程。有一个全局的ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。应用程序可以是单个作业，也可以是DAG作业。ResourceManager是仲裁系统中所有应用程序之间资源的最终权威机构。NodeManager是负责容器的每机器框架代理，监视它们的资源使用情况（cpu...
2018-06-07 10:56:44
6676
1
原创 论文--阅读翻译笔记-Reducing the Dimensionality of Data with Neural Networks
摘要：通过训练小中间层（small central layer）的多层神经网络（神经元个数小于维数），可以将高维数据（high-dimensional data）转换为低维编码（low-dimensional codes），以此（通过此网络）来重建（reconstruct ）高维输入向量（high-dimensional input vectors）。其中这个神经网络的中间层神经元数是较少的，可把...
2018-06-05 18:43:40
4454
原创 论文-阅读理解笔记-Predicting DGA with Long Short-Term Memory Networks
主要贡献：1）引入一个LSTM网络来预测DGA生成的域，据我们所知，这是第一个深度学习到这个域的应用和深入分析;2）呈现完整的实验结果，显示使用开放数据集的文献比先前的技术（实时和回顾性）显着改进; 背景介绍：Domain Generation Algorithms本文评估了对来自30种不同类型恶意软件的DGA生成域进行分类的能力。DGA技术的复杂性从简单的统一生成的域名到那些试图模拟在实际域中看...
2018-06-05 18:28:49
1147
原创 论文-阅读理解笔记Adversary Resistant DeepNeural Networks
摘要主要介绍在网络安全方面深度学习（DL）的应用主要存在模型会受到敌对样本的影响的缺陷，攻击者通过利用这种缺陷，可能会导致严重的结果。1介绍深层网络结构像其他机器学习方法一样在学习的过程中会被一些不明显的潜在威胁操作所欺骗，随着特征的重要性的增加，攻击者通过微小的调整使得模型相信修正后的样本。随着DNN（Deep Neural Networks）在恶意软件检测领域的广泛应用，这个缺陷的可怕性日渐暴...
2018-06-05 18:22:34
680
原创 论文-阅读翻译理解笔记-Batch Normalization Accelerating Deep Network Training by Reducing Inter
Abstract：当前神经网络层之前的神经网络层的参数变化，引起神经网络每一层输入数据的分布产生了变化，这使得训练一个深度神经网络（DeepNeural Networks）变得复杂。这样就要求使用更小的学习率，参数初始化也需要更为谨慎的设置。并且由于非线性饱和（注：如sigmoid激活函数的非线性饱和问题），训练一个深度神经网络会非常困难。我们称这个现象为：internal covariate s...
2018-06-05 16:57:36
866
原创 论文-阅读理解-Adversary Resistant Deep Neural Networks with an Application to Malware Detection
整体来说，Adversary Resistant DeepNeural Networks with an Application to Malware Detection 这篇论文是利用了生成对抗网络和深度学习网络俩个模型提出的一种对恶意软件和应用检测的方法。 通过对GAN网络的学习和理解，简单描述这个过程：通过建立2个功能相同，性能相似的俩个DNN模型分别作为生成器和判定器。通过加入利用生成器...
2018-06-05 16:48:49
676
翻译 论文-阅读翻译+笔记-深度玻尔兹曼机
我们提出了一种新的玻尔兹曼机器学习算法，其中包含许多隐藏变量层。依赖于数据的期望是使用趋于关注单一模式的变分近似来估计的，并且使用持续马尔可夫链来近似数据依赖期望。使用两种截然不同的技术来估计进入对数似然梯度的两种期望类型，使得学习具有多个隐藏层和数百万个参数的玻尔兹曼机器变得切实可行。 通过使用逐层“预训练”阶段，可以使得学习变得更有效率，从而允许使用单一自底向上通过初始化变量指数。我们在MNI...
2018-06-05 16:45:17
3038
1
翻译 论文-阅读翻译+笔记-Generative Adversarial Nets
摘要我们提出了一个通过对抗过程估计生成模型的新框架，在新框架中我们同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。这个框架相当于一个极小化极大的双方博弈。在任意函数G 和D 的空间中存在唯一的解，其中G恢复训练数据分布，并且D处处都等于1212。 在G和D 由多层感知器定义的情况下，整个系统可以用反...
2018-06-05 16:33:23
2525
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人