2017年10月_djph26741

转载查看spark是否有僵尸进程，有的话，先杀掉。可以使用下面命令

查看spark是否有僵尸进程，有的话，先杀掉。可以使用下面命令yarn application -listyarn application -kill <jobid>转载于:https://www.cnblogs.com/bonelee/p/7763223.html...

2017-10-31 19:22:00 120

转载基于深度学习的病毒检测技术无需沙箱环境，直接将样本文件转换为二维图片，进而应用改造后的卷积神经网络 Inception V4 进行训练和检测...

话题 3: 基于深度学习的二进制恶意样本检测分享主题：全球正在经历一场由科技驱动的数字化转型，传统技术已经不能适应病毒数量飞速增长的发展态势。而基于沙箱的检测方案无法满足 APT 攻击的检测需求，也受到多种反沙箱技术的干扰。在充分考察过各种技术方案的优劣后，瀚思科技开发出了基于深度学习的二进制病毒样本检测技术，可以做到沙箱同等水平的 99% 的检测准确率，而误报率低于 1/1000。...

2017-10-30 09:50:00 403

转载 linux命令 — lsof 查看进程打开那些文件或者查看文件给那个进程使用

lsof命令是什么？可以列出被进程所打开的文件的信息。被打开的文件可以是1.普通的文件，2.目录 3.网络文件系统的文件，4.字符设备文件 5.(函数)共享库 6.管道，命名管道7.符号链接8.底层的socket字流，网络socket，unix域名socket9.在linux里面，大部分的东西都是被当做文件的…..还有其他很多怎样使用lsof这里主要用...

2017-10-26 10:17:00 70

转载通过DNS通道传输的交互式PowerShell脚本

摘自：http://www.freebuf.com/sectool/90616.html欢迎来到一周PowerShell脚本的第五天，今天我们将讨论使用ICMP和DNS的交互式PowerShell脚本。通常情况下防火墙都不会主动过滤ICMP和DNS数据包，这就让我们可以使用它们。下面就让我们来看看具体怎么利用吧。对于DNS来说，我们需要使用Ron Bowes的dnscat2(...

2017-10-25 16:12:00 133

转载一种神经元探索系统方法及装置

发明背景与现有技术应用背景深度学习已经在图像分类检测、游戏等诸多领域取得了突破性的成绩。由于人工神经网络计算量大，训练时间长。因此，相关的硬件加速平台也在百花齐放，包括基于英伟达的GPU、谷歌的TPU、以及FPGA实现的神经网络硬件平台。神经网络的结构复杂多样、计算量大的特点，给硬件设计带来了巨大挑战。原有技术及问题（1）传统神经网络基于传统...

2017-10-25 11:42:00 108

转载 neat算法——本质就是遗传算法用于神经网络的自动构建

基于NEAT算法的马里奥AI实现所谓NEAT算法即通过增强拓扑的进化神经网络（Evolving Neural Networks through Augmenting Topologies），算法不同于我们之前讨论的传统神经网络，它不仅会训练和修改网络的权值，同时会修改网络的拓扑结构，包括新增节点和删除节点等操作。NEAT算法几个核心的概念是：基因：网络中的连接基因组：基因...

2017-10-24 19:12:00 1023

转载 lucene LZ4 会将doc存储在一个chunk里进行Lz4压缩 ES的_source便如此

默认情况下，Elasticsearch 用 JSON 字符串来表示文档主体保存在_source字段中。像其他保存的字段一样，_source字段也会在写入硬盘前压缩。The _source is stored as a binary blob (which is compressed by Lucene with deflate or LZ4) 其实就是多个_source合并到一个c...

2017-10-24 16:29:00 167

转载递归神经网络——就是解决AST这样的问题

原文：https://zybuluo.com/hanbingtao/note/626300有时候把句子看做是词的序列是不够的，比如下面这句话『两个外语学院的学生』：上图显示了这句话的两个不同的语法解析树。可以看出来这句话有歧义，不同的语法解析树则对应了不同的意思。一个是『两个外语学院的/学生』，也就是学生可能有许多，但他们来自于两所外语学校；另一个是『两个/外语学院的学...

2017-10-23 16:41:00 140

转载循环神经网络

原文：https://zybuluo.com/hanbingtao/note/541458循环神经网络也可以画成下面这个样子：双向循环神经网络对于语言模型来说，很多时候光看前面的词是不够的，比如下面这句话：我的手机坏了，我打算____一部新手机。可以想象，如果我们只看横线前面的词，手机坏了，那么我是打算修一修？换一部新的？还是大哭一场？这些都是无法确定的...

2017-10-23 16:39:00 92

转载卷积神经网络——本质上是在利用卷积做特征压缩，然后再全连接

原文：https://www.zybuluo.com/hanbingtao/note/485480 写得非常好，可以细读全连接网络 VS 卷积网络全连接神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题：参数数量太多考虑一个输入1000*1000像素的图片(一百万像素，现在已经不能算大图了)，输入层有1000*1000=100万节点。假设第一个隐藏层有100个...

2017-10-23 13:21:00 382

转载神经网络和反向传播算法——反向传播算法本质上是随机梯度下降，链式求导法则而来的...

原文：https://www.zybuluo.com/hanbingtao/note/476663写得非常好，适合入门！神经元神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图所示：计算一个神经元的输出的方法和计算一个感知器的输出是一样的。假设神经元的输入是向量...

2017-10-23 12:09:00 334

转载 LSTM入门学习——结合《LSTM模型》文章看

摘自：https://zybuluo.com/hanbingtao/note/581764 写得非常好见原文长短时记忆网络的思路比较简单。原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。那么，假如我们再增加一个状态，即c，让它来保存长期的状态，那么问题不就解决了么？如下图所示：新增加的状态c，称为单元状态(cell state)。我们把上图按照时间维度展开：...

2017-10-23 10:34:00 281

转载 LSTM入门学习——本质上就是比RNN的隐藏层公式稍微复杂了一点点而已

LSTM入门学习摘自：http://blog.csdn.net/hjimce/article/details/51234311下面先给出LSTM的网络结构图：看到网络结构图好像很复杂的样子，其实不然，LSTM的网络结构图无非是为了显示其高大上而已，这其实也是一个稍微比RNN难那么一丁点的算法。为了简单起见，下面我将直接先采用公式进行讲解LSTM，省得看见LSTM网络结构图...

2017-10-23 10:08:00 515

转载 LSTM模型

摘自：http://www.voidcn.com/article/p-ntafyhkn-zc.html（二）LSTM模型1.长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长...

2017-10-23 09:47:00 221

转载 syslog介绍-CS架构来采集系统日志

syslog架构Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议，分为客户端和服务器端，客户端是产生日志消息的一方，而服务器端负责接收客户端发送来的日志消息，并做出保存到特定的日志文件中或者其他方式的处理。在Linux中，常见的syslog服务器端程序是syslogd守护程序。这个程序可以从三个地方接收日志消...

2017-10-17 10:55:00 93

转载 NetFlow是一种数据交换方式，提供网络流量的会话级视图，记录下每个TCP/IP事务的信息...

NetFlow是一种数据交换方式，提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。Netflow由Cisco创造。一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。示例：61.*.*.68|61.*.*.195|...

2017-10-16 16:08:00 116

转载 Mac 安装 brew

一，安装brew1，安装brewcurl -LsSf http://github.com/mxcl/homebrew/tarball/master | sudo tar xvz -C/usr/local --strip 12，安装完成后执行brew提示：Please run brew update!3，按照提示更新，执行brew ...

2017-10-12 23:32:00 61

转载技术报告：APT组织Wekby利用DNS请求作为C&C设施，攻击美国秘密机构

技术报告：APT组织Wekby利用DNS请求作为C&C设施，攻击美国秘密机构最近几周Paloalto Networks的研究人员注意到，APT组织Wekby对美国的部分秘密机构展开了一次攻击。Wekby这些年一直活跃在医疗、电信、航空航天、国防和高科技等多个领域。它会在漏洞出现的第一时间就对其大加利用，就像在HackingTeam的zero-day漏洞事件中...

2017-10-11 19:37:00 241

转载 DNS隧道和工具

DNS Tunneling及相关实现转自：http://www.freebuf.com/sectool/112076.htmlDNS Tunneling，是隐蔽信道的一种，通过将其他协议封装在DNS协议中传输建立通信。因为在我们的网络世界中DNS是一个必不可少的服务，所以大部分防火墙和入侵检测设备很少会过滤DNS流量，这就给DNS作为一种隐蔽信道提供了条件，从而可以利...

2017-10-11 17:30:00 235

转载 “DNS隧道”盗号木马分析——类似hjack偷密码然后利用dns tunnel直传数据发送出去...

摘自：http://www.freebuf.com/articles/network/38276.html#运行后不断监控顶端窗口，一旦发现为QQ，就弹出一个自己伪造的QQ登陆窗口，诱导用户输入密码编码与发送如果你不幸输入了密码并点击了登陆，那么请节哀——你中招了。你的QQ号和密码这些隐私数据正在木马指令的授意下，被你自己不惜高价买下的高性能CPU和内存飞速的进行着编码，...

2017-10-11 17:26:00 237

转载一次误报引发的DNS检测方案的思考：DNS隧道检测平民解决方案

摘自：http://www.freebuf.com/articles/network/149328.html通过以上分析得出监控需要关注的几个要素：长域名、频率、txt类型、终端是否对解析ip发起访问、是否有全域名注册记录，推导检测逻辑如下：方向1：特征检测：检测窃密木马（无需更新和接收指令）：【域名超长 or 频率高】 and 【终端无进程对返回的A记录...

2017-10-11 17:08:00 124

转载反弹木马——本质上就是一个开80端口的CS程序，伪造自己在浏览网页

反弹端口型木马分析了防火墙的特性后发现：防火墙对于连入的链接往往会进行非常严格的过滤，但是对于连出的链接却疏于防范。于是，与一般的木马相反，反弹端口型木马的服务端（被控制端）使用主动端口，客户端（控制端）使用被动端口，木马定时监测控制端的存在，发现控制端上线立即弹出端口主动连结控制端打开的主动端口，为了隐蔽起见，控制端的被动端口一般开在80，这样，即使用户使用端口扫描软件检查自己的端...

2017-10-11 10:18:00 452

转载如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？——是KNN算法吗？...

作者：知乎用户链接：https://www.zhihu.com/question/29187952/answer/48519630我居然今天才看到这个问题，天……本专业，有幸听过他们这个实验的组会来解(che)答(dan)一下。之前在陆朝阳组内开组会的时候师兄正好在做这个，我本科是这个专业的，之前看到他们paper发了，还有新闻，还和室友吐槽了一番。不过实验本身还好...

2017-10-10 12:00:00 131

转载 DGA特征挖掘

摘自：https://paper.seebug.org/papers/Archive/drops2/%E7%94%A8%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AF%86%E5%88%AB%E9%9A%8F%E6%9C%BA%E7%94%9F%E6%88%90%E7%9A%84C%26amp%3BC%E5%9F%9F%E5%90%8D.html0...

2017-10-09 10:50:00 964

转载使用深度学习检测DGA（域名生成算法）——LSTM的输入数据本质上还是词袋模型...

from:http://www.freebuf.com/articles/network/139697.htmlDGA（域名生成算法）是一种利用随机字符来生成C&C域名，从而逃避域名黑名单检测的技术手段。例如，一个由Cryptolocker创建的DGA生成域xeogrhxquuubt.com，如果我们的进程尝试其它建立连接，那么我们的机器就可能感染Cryptolocker勒索...

2017-10-09 10:30:00 925

djph26741的博客