项目
文章平均质量分 72
upupday19
这个作者很懒,什么都没留下…
展开
-
SELKS
Suricata+ELKELK1、 组成:Elasticsearch、Logstash、Kibana,这三者是核心套件的,但并非全部,架构不同,组件也有差别。ELK就是这三个组件的简称。2、 功能:a) Elasticsearch简称为ES,是实时全文搜索和分析引擎,能够提供搜集、分析、存储数据三大功能,构建于Apache Lucene搜索引擎库智商,b)原创 2017-09-14 17:04:19 · 3588 阅读 · 0 评论 -
RDMA传输相关代码的问题整理
1、尝试安装softiWARP进行软件模拟RDMA传输,在没有硬件网卡的前提下进行实验。编译的时候遇到了问题。直接编译会报错,“undefined reference to xxx”,意味着缺少链接库文件,所以加上-lrdmacm选项,但是依然报错。根据提示,发现少了个libibverbs.so动态库的链接,所以再加上-libverbs即可。2、编译成功,运行时出现segmentfault,仔细比...原创 2018-02-26 17:15:38 · 4923 阅读 · 1 评论 -
RDMA传输中的SEND/RECEIVE和READ/WRITE
最近在做RDMA传输相关的项目,现分析和对比传统TCP/IP通信和RDMA传输在数据交互中的不同之处。概念解读 传统的TCP/IP通信,发送和接收数据的过程中,都是在源端应用层数据从上向下逐层拷贝封装,目的端从下向上拷贝和解封装,所以比较慢,而且需要CPU参与的次数很多。RDMA通信过程中,发送和接收,读/写操作中,都是RNIC直接和参与数据传输的已经注册过的内存区域直接进行数据传输,速度快...原创 2018-02-26 16:37:52 · 6879 阅读 · 0 评论 -
RDMA over Commodity Ethernet at Scale (II)
3. DSCP-BASEDPFC在本小节中,我们测试了原始的基于VLAN的PFC面对的问题,并提出了基于DSCP的PFC方案。基于VLAN的PFC暂停帧中,VLAN TAG中包含了数据包优先级和VID,但是优先级和VID在部署中引发了两个严重的问题,因此提出了基于DSCP的PFC方案。暂停帧是一个二层帧,并没有VLAN标签,数据包的VLAN标签有四部分,TPID被固定为0x8100,DE原创 2018-02-01 15:30:34 · 831 阅读 · 0 评论 -
RDMA over Commodity Ethernet at Scale (I)
Abstract在过去一年半的时间,我们已经使用RoCEv2来支持一些微软高可靠性、延迟敏感的服务。本篇论文讲述了在此过程中遇到的挑战以及解决方案。为了把RoCEv2扩展到VLAN之外,我们设计了一个基于DSCP的优先级流量控制机制(PFC)来确保大规模部署。我们已经解决了很多安全挑战,比如PFC-减少死锁、RDMA传输livelock以及NIC PFC暂停帧风暴问题。我们也建立了监控和管理系翻译 2018-01-31 17:22:44 · 1327 阅读 · 0 评论 -
TCP/IP的TCP socket通信过程
传统的TCP/IP通信过程依赖于socket,位于应用层和传输层之间,使得应用程序可以进行通信。相当于港口城市的码头,使得城市之间可以进行货物流通。服务器和客户端各有不同的通信流程。一、服务器 1、建立连接阶段调用socket(),分配文件描述符,即监听套接字调用bind(),将套接字与本地IP地址和端口绑定调用listen(),监听特定端口,socket()创建的套接字是主动的,调用lis...原创 2017-12-27 20:36:04 · 18279 阅读 · 1 评论 -
极限学习机应用于入侵检测(二)
训练样本对机器学习算法效果的影响 机器学习算法的训练过程本质是获得一种分类器或者回归方程,对于分类器,会以不同的形式进行表示,比如朴素贝叶斯算法的概率、神经网络的权重、隐藏层层数、神经元个数、决策树等,而回归方程就是得到输入和输出的线性或者非线性关系,根据输入可以得到输出。ELM的训练过程本质是获得β矩阵,和其它机器学习算法类似,训练过程是获得一种分类器,以矩阵的形式进行存储。对于ELM的原创 2017-11-14 20:59:22 · 816 阅读 · 0 评论 -
极限学习机应用于入侵检测(一)
引言 最近读了一篇2014年CCS的论文,Using Extreme Learning Machine for Intrusion Detection in a Big Data Environment,并对其内容进行了总结和扩展。基本知识 极限学习机(extreme learning machine)ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算原创 2017-11-04 20:36:04 · 8682 阅读 · 3 评论 -
win10安装python的xlrd
最近想尝试一下python中机器学习库函数,来测试SVM多分类算法性能,所以需要安装python以及xlrd,安装过程如下。1、官网 https://www.python.org/downloads/ 下载python最新版本3.6.3推荐下载executable installer,可直接执行的安装。2、直接双击即可进入安装界面,基本一路next,注意如下几点原创 2017-11-08 15:30:31 · 15911 阅读 · 1 评论 -
nginx的epoll
设想一下,有100万个客户端和服务器的一个进程建立TCP连接,每次只有几十个或者几百个连接是活跃的,那么我们只需要处理这几十个或者几百个连接即可,在poll和select中,服务器进程每次都把这100万个套接字传给操作系统(这是用户态内存到内核态内存的大量复制),让操作系统内核去查询这些套接字上是否有事件发生,轮询完后,再将套接字复制到用户态,让服务器应用程序轮询处理已发生的网络事件,这一过程资源...原创 2018-05-07 11:14:47 · 218 阅读 · 0 评论