2017年11月_djph26741

转载 Batch Normalization的算法本质是在网络每一层的输入前增加一层BN层（也即归一化层），对数据进行归一化处理，然后再进入网络下一层，但是BN并不是简单的对数据进行求归一化，而是引入了两个...

Batch NormalizationBatch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重衰减系数，Dropout比例等。这些参数的选择...

2017-11-30 19:09:00 163

转载终端安全工具 gartner 排名

Reviews for Endpoint Detection and Response SolutionsWhat is Endpoint Detection and Response Solutions software?转自：https://www.gartner.com/reviews/market/Endpoint-D...

2017-11-30 17:09:00 130

转载 When Cyber Security Meets Machine Learning 机器学习安全分析对于安全领域的总结很有用看未来演进方向...

链接：http://ucys.ugr.es/jnic2016/docs/MachineLearning_LiorRokachJNIC2016.pdfhttps://people.eecs.berkeley.edu/~adj/publications/paper-files/SecML-MLJ2010.pdf一些关键点：算了，不总结了。转载于:https://www....

2017-11-30 15:17:00 114

转载 DNS隧道之DNS2TCP实现——dns2tcpc必须带server IP才可以，此外ssh可以穿过墙的，设置代理上网...

我自己的命令：server端：dns2tcpd -F -d 1 -f ./dns2tcpd.conf输出：09:08:59 : Debug options.c:97 Add resource ssh:127.0.0.1 port 2209:08:59 : Debug options.c:97 Add resource smtp:127.0.0.1 po...

2017-11-30 10:13:00 508

转载 DNS隧道之DNS2TCP使用心得教程——是可以用来穿透qiang的，ubuntu下直接apt install dns2tcp...

DNS隧道之DNS2TCP使用心得教程转自：http://blog.creke.net/750.htmlDNS2TCP是在上次DNS隧道大检阅时提到的一个DNS隧道。在2010年6月的更新（也是迄今为止最新的更新）后，其源代码支持编译为Windows平台的可执行程序。而且此工具使用C语言开发编写，不需要TUN/TAP，所以大大加强了它的可用性。下载当前最新的0.5.2...

2017-11-30 10:10:00 417

转载 DNS隧道工具汇总——补充，还有IP over DNS的工具NSTX、Iodine、DNSCat

github上有一堆的工具：https://github.com/search?utf8=%E2%9C%93&q=DNS+tunnel+&type=DNS隧道大检阅研究了一天的DNS隧道，现在汇总一些关于我搜到的各种DNS隧道的信息。1、OzymanDNS官方网站：http://www.dnstunnel.de/操作系统：跨平台实现语言：Perl...

2017-11-30 10:02:00 251

转载 Data Mining and Machine Learning in Cybersecurity PDF

https://doc.lagout.org/Others/Data%20Mining/Data%20Mining%20and%20Machine%20Learning%20in%20Cybersecurity%20%5BDua%20%26%20Du%202011-04-25%5D.pdf转载于:https://www.cnblogs.com/bonelee/p/7911613.ht...

2017-11-28 19:07:00 158

转载 ES failed to notify ClusterStateListener java.lang.IllegalStateException: environment is not locked

ES出现异常：failed to notify ClusterStateListenerjava.lang.IllegalStateException: environment is not locked定位代码：下载ES 5.5源码，在main/java/org/elasticsearch/env/NodeEnvironment.java 里可以看到： ...

2017-11-28 12:28:00 535

转载使用神经网络-垃圾邮件检测-LSTM或者CNN（一维卷积）效果都不错【代码有问题，pass】...

from sklearn.feature_extraction.text import CountVectorizerimport osfrom sklearn.naive_bayes import GaussianNBfrom sklearn.model_selection import train_test_splitfrom sklearn import ...

2017-11-28 11:08:00 489

转载使用CNN做文本分类——将图像2维卷积换成1维

使用CNN做文本分类 from __future__ import division, print_function, absolute_import import tensorflow as tf import tflearn from tflearn.layers.core import input_data, dropout, ful...

2017-11-28 10:36:00 143

转载使用CNN做电影评论的负面检测——本质上感觉和ngram或者LSTM同，因为CNN里图像检测卷积一般是3x3，而文本分类的话是直接是一维的3、4、5...

代码如下：from __future__ import division, print_function, absolute_importimport tensorflow as tfimport tflearnfrom tflearn.layers.core import input_data, dropout, fully_connectedfrom tf...

2017-11-28 10:34:00 156

转载 CNN tflearn处理mnist图像识别代码解说——conv_2d参数解释，整个网络的训练，主要就是为了学那个卷积核啊。...

官方参数解释：Convolution 2Dtflearn.layers.conv.conv_2d (incoming, nb_filter, filter_size, strides=1, padding='same', activation='linear', bias=True, weights_init='uniform_scaling', bias_init='zeros...

2017-11-28 10:16:00 334

转载神经网络中embedding层作用——本质就是word2vec，数据降维，同时可以很方便计算同义词（各个word之间的距离），底层实现是2-gram（词频）+神经网络...

Embeddingtflearn.layers.embedding_ops.embedding (incoming, input_dim, output_dim, validate_indices=False, weights_init='truncated_normal', trainable=True, restore=True, reuse=False, scope=None,...

2017-11-27 15:51:00 191

转载使用LSTM做电影评论负面检测——使用朴素贝叶斯才51%，但是使用LSTM可以达到99%准确度...

基本思路：每个评论取前200个单词。然后生成词汇表，利用词汇index标注评论（对每条评论的前200个单词编号而已），然后使用LSTM做正负评论检测。代码解读见【【【评论】】】！embedding层本质上是word2vec！！！在进行数据降维，但是不是所有的LSTM都需要这个，比如在图像检测mnist时候，就没有这层！import tensorflow as tf...

2017-11-27 14:28:00 328

转载如何比较Keras, TensorLayer, TFLearn ？——如果只是想玩玩深度学习，想快速上手 -- Keras 如果工作中需要解决内部问题，想快速见效果 -- TFLearn 或者 Te...

转自：https://www.zhihu.com/question/50030898/answer/235137938如何比较Keras, TensorLayer, TFLearn ？这三个库主要比的是API设计水平，不得不说原始的 Tensorflow API的确反人类，我承认它的完善、表达能力强，性能好，但是接口设计对人类非常不友好。这就给了做高层抽象API封装的...

2017-11-27 13:02:00 69

转载 TensorFlow高层次机器学习API (tf.contrib.learn)

TensorFlow高层次机器学习API (tf.contrib.learn)1.tf.contrib.learn.datasets.base.load_csv_with_header 加载csv格式数据2.tf.contrib.learn.DNNClassifier 建立DNN模型(classifier)3.classifer.fit 训练模型4.classifier....

2017-11-27 11:52:00 82

转载 tensorflow LSTM

循环神经网络介绍可以在 this great article 查看循环神经网络(RNN)以及 LSTM 的介绍。语言模型此教程将展示如何在高难度的语言模型中训练循环神经网络。该问题的目标是获得一个能确定语句概率的概率模型。为了做到这一点，通过之前已经给出的词语来预测后面的词语。我们将使用 PTB(Penn Tree Bank) 数据集，这是一种常用来衡量模型的基准，同时它...

2017-11-27 11:00:00 77

转载 tensorfllow MNIST机器学习入门

MNIST机器学习入门这个教程的目标读者是对机器学习和TensorFlow都不太了解的新手。如果你已经了解MNIST和softmax回归(softmax regression)的相关知识，你可以阅读这个快速上手教程。当我们开始学习编程的时候，第一件事往往是学习打印"Hello World"。就好比编程入门有Hello World，机器学习入门有MNIST。MNIST是一个入门...

2017-11-27 10:41:00 66

转载 tensorflow入门教程和底层机制简单解说——本质就是图计算，自动寻找依赖，想想spark机制就明白了...

简介本章的目的是让你了解和运行 TensorFlow!在开始之前, 让我们先看一段使用 Python API 撰写的 TensorFlow 示例代码, 让你对将要学习的内容有初步的印象.这段很短的 Python 程序生成了一些三维数据, 然后用一个平面拟合它.import tensorflow as tfimport numpy as np# 使用 Num...

2017-11-27 09:34:00 83

转载 tf.placeholder类似函数中的形参

tf.placeholder(dtype, shape=None, name=None)此函数可以理解为形参，用于定义过程，在执行的时候再赋具体的值参数： dtype：数据类型。常用的是tf.float32,tf.float64等数值类型 shape：数据形状。默认是None，就是一维值，也可以是多维，比如[2,3], [None, 3]表示列是3，行不定 name：名...

2017-11-27 09:20:00 84

转载 ES业界优秀实践案例汇总

ES业界优秀案例汇总携程 LinkedIn Etsy国外电商CPU(vCore) 70*32 1000*12 4200单日索引数据条数 600亿 500亿 100亿单核处理数据性能/天 2600万/vCore 416万/vCore 238万/vCore单日存储数据量 25T 500-800T 1.5P集群规模 70 1000 141数据峰值集群百万条/秒未知集群 40万条/...

2017-11-25 14:20:00 111

转载 akka 原理分析优秀博客

http://www.nyankosama.com/2014/12/15/akka-source/http://blog.csdn.net/aigoogle/article/details/42107709https://my.oschina.net/twoface/blog/282622http://chaopeng.me/blog/2014/03/...

2017-11-24 20:35:00 62

转载 ES transport client底层是netty实现，netty本质上是异步方式，但是netty自身可以使用sync或者await（future超时机制）来实现类似同步调用！因此，ES tran...

ES transport client底层是netty实现，netty本质上是异步方式，但是netty自身可以使用sync或者await（future超时机制）来实现类似同步调用！因此，ES transport client可以同步调用也可以异步（不过底层的socket必然是异步实现）。发送端例子对于java client的数据发送（这里以bulk为例），写过的人都知道，其实...

2017-11-24 11:51:00 105

转载 netty底层是事件驱动的异步库但是可以await或者sync（本质是future超时机制）同步返回但是官方 Prefer addListener(GenericFutureListener) t...

io.netty.channel摘自：https://netty.io/4.0/api/io/netty/channel/ChannelFuture.htmlInterface ChannelFutureAll Superinterfaces:java.util.concurrent.Future<java.lang.Void>All Know...

2017-11-24 11:42:00 125

转载 python 提取主域名和子域名代码——先根据规则提取，如果有问题，则使用tldextract...

import tldextractdef extract_domain(domain): suffix = {'.com','.la','.io', '.co', '.cn','.info', '.net', '.org','.me', '.mobi', '.us', '.biz', '.xxx', '.ca', '.co.jp', '.com.cn', '...

2017-11-23 18:09:00 546

转载 ES API 备忘

本文所列的所有API在ElasticSearch文档是有详尽的说明，但它的结构组织的不太好。这篇文章把ElasticSearchAPI用表格的形式供大家参考。https://www.iteblog.com/archives/2030.html转载于:https://www.cnblogs.com/bonelee/p/7884721.html...

2017-11-23 14:24:00 73

转载 ES task管理

Task Management APIThe Task Management API is new and should still be considered a beta feature. The API may change in ways that are not backwards compatible...

2017-11-23 14:18:00 411

转载神经网络中归一化的重要作用

下面是使用神经网络进行JAVA溢出攻击代码：# -*- coding:utf-8 -*-import reimport matplotlib.pyplot as pltimport osfrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn import cross_v...

2017-11-22 23:29:00 136

转载 kibana智能检索发送多次_msearch —— 配置index pattern，同时设置时间段，就知道到底是在哪些索引里去查找数据了...

kibanasite/elasticsearch/log-*/_field_stats?level=indices返回：{"_shards":{"total":600,"successful":600,"failed":0},"indices":{"log-2017.11.22-19-192.168.2.3-93004":{"fi...

2017-11-22 20:09:00 172

转载神经网络为什么要归一化

神经网络为什么要归一化1.数值问题。无容置疑，归一化的确可以避免一些不必要的数值问题。输入变量的数量级未致于会引起数值问题吧，但其实要引起也并不是那么困难。因为tansig的非线性区间大约在[-1.7，1.7]。意味着要使神经元有效，tansig( w1*x1 + w2*x2 +b) 里的 w1*x1 +w2*x2 +b 数量级应该在 1 （1.7所在的数量级...

2017-11-22 19:45:00 235

转载神经网络预测mnist时候如果不归一化,则准确率仅仅10%下文作者svm也遇到了。

转自：http://blog.csdn.net/jeryjeryjery/article/details/72649320这两天用Python来实现手写数字识别，刚开始用原始数据进行训练，结果预测结果都是同一个类别，全部是对应数字1。正确率也只有10%左右，下面是代码及运行结果截图：预测结果都是数字1。数据归一化是指将特征值从一个大范围映射到[0,1]或者[-1,1...

2017-11-22 19:39:00 290

转载 MLPclassifier，MLP 多层感知器的的缩写（Multi-layer Perceptron）

先看代码（sklearn的示例代码）：[python] view plain copyfromsklearn.neural_networkimportMLPClassifierX=[[0.,0.],[1.,1.]]y=[0,1]clf=MLPClassifier(solve...

2017-11-22 19:27:00 770

转载 linux 内存不足时候应该及时回收page cache

另一起问题是24G内存的系统，空闲内存已经不到50M1. 确认该系统的版本是64位# uname -aLinux gxgd-nms-app 2.6.18-194.el5xen #1 SMP Tue Mar 16 22:01:26 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux2...

2017-11-22 18:14:00 159

转载关闭swap的危害——一旦内存耗尽，由于没有SWAP的缓冲，系统会立即开始OOM

SWAP的罪与罚发表于2012-11-08说个案例：一台Apache服务器，由于其MaxClients参数设置过大，并且恰好又碰到访问量激增，结果内存被耗光，从而引发SWAP，进而负载攀升，最终导致宕机。正所谓：SWAP，性能之大事，死生之地，存亡之道，不可不察也。哪些工具可以监测SWAP最容易想到的就是free命令了，它指明了当前SWAP的使用情况：s...

2017-11-22 18:05:00 820

转载使用Networkx进行图的相关计算——黑产集团挖掘，我靠，可以做dns ddos慢速攻击检测啊...

# -*- coding: utf-8 -*-import networkx as nximport matplotlib.pyplot as pltiplist={}goodiplist={}#相似度N=0.5#黑客团伙IP最少个数M=3#黑客IP攻击目标最小个数R=2#jarccard系数def get_len(d1,d...

2017-11-22 12:26:00 151

转载 ARIMA模型实例讲解——网络流量预测可以使用啊

ARIMA模型实例讲解：时间序列预测需要多少历史数据？from:https://www.leiphone.com/news/201704/6zgOPEjmlvMpfvaB.html雷锋网按：本文源自美国机器学习专家 Jason Brownlee 的博客，雷锋网(公众号：雷锋网)编译。时间序列预测，究竟需要多少历史数据？...

2017-11-22 11:39:00 600

转载 http://www.secrepo.com 安全相关的数据获取源

来自：http://www.secrepo.comNetworkMACCDC2012 - Generated with Bro from the2012 datasetA nice dataset that has everything from scanning/recon through explotation as well as some c99 shell...

2017-11-21 20:32:00 322

转载什么是HTTP Referer？

什么是Referer？Referer是HTTP请求header的一部分，当浏览器（或者模拟浏览器行为）向web服务器发送请求的时候，头信息里有包含Referer。比如我在www.sojson.com里有一个www.baidu.com链接，那么点击这个www.baidu.com，它的header信息里就有：Referer=http://www...

2017-11-21 20:22:00 89

转载列举某域名下所有二级域名的方法

这里介绍三种列举某域名下所有二级域名的方法1、命令行下列举此方法好像是hoky很久以前写的，不过原文步骤有点乱，我又重新整理了一下，以我们小组的站为例C:\Documents and Settings\鬼仔>nslookup*** Can't find server name for address 202.102.224.68: Server failed*** ...

2017-11-21 20:20:00 409

转载 HMM（隐马尔科夫模型）——本质上就是要预测出股市的隐藏状态（牛市、熊市、震荡、反弹等）和他们之间的转移概率...

摘自：http://blog.csdn.net/baskbeast/article/details/51218777 可以看《统计学习方法》里的介绍举一个日常生活中的例子，我们希望根据当前天气的情况来预测未来天气情况。一种办法就是假设这个模型的每个状态都只依赖于前一个的状态，即马尔科夫假设，这个假设可以极大简化这个问题。当然，这个例子也是有些不合实际的。但是，这样一个简化的系统...

2017-11-21 15:37:00 623

空空如也

空空如也