自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(45)
  • 资源 (5)
  • 收藏
  • 关注

原创 CENTOS上的网络安全工具(二十七)SPARK+NetSA Security Tools容器化部署(3)

上回说到在我们搭好的YAF3环境上使用yaf处理pcap文件得到silk flow,再使用super mediator工具转为ipfix,继而在spark中导入mothra,就可以开始数据分析了。然而在我们粗粗一用之下,却发现DPI信息在ipfix文件中找不到,到底是提取的时候就没提取出来(ipfix不支持dpi信息存储)?还是说我们的分析方式不对?——换句话说yaf、super-mediator、methora这三个环节,问题到底出在哪里了?我们卖了个关子,为本篇开启留了个伏笔。实则是我也不知道……。

2023-07-07 17:03:02 1415

原创 CENTOS上的网络安全工具(二十六)SPARK+NetSA Security Tools容器化部署(2)

介绍NetSA工具集 yaf + super mediator + mothra的安装部署方法,实现数据流、DPI信息的大数据分析平台构建。

2023-06-26 13:14:22 4277

原创 CENTOS上的网络安全工具(二十五)SPARK+NetSA Security Tools容器化部署(1)

介绍在容器中安装rwflowpacker、yaf和silk等NetSA 工具集的过程。由于将NetSA工具集和spark组装起来需要更加复杂的操作,所以相关内容将安排在后续同名文章中。。

2023-06-22 18:29:56 1880

原创 CENTOS上的网络安全工具(二十四)Windows下的Hadoop+Spark编程环境构建

前面我们搭建了hadoop集群,spark集群,也利用容器构建了spark的编程环境。但是一般来说,就并行计算程序的开发,一刚开始一般是在单机上的,比如hadoop的single node。但是老师弄个容器或虚拟机用vscode远程访问式开发,终究还是有些不爽。还好,hadoop和spark都是支持windows的。不妨,我们弄个windows下的开发环境。然而,windows下开发环境的构建,需要一个转换程序winutils.exe,这个需要根据下载的hadoop的版本对应编译。

2023-06-11 21:39:00 8004

原创 CENTO OS上的网络安全工具(二十三)VSCODE SPARK 容器式编程环境构建

总之装这个一路都很玄学,因为有些下载在输出窗口里面是能看到的(如果选择了观察logs),有些下载操作在窗口是什么都看不到的——如果你以为什么动静都看不到就是装完了而试图区执行代码的时候,一般会收到internal error。由于我们使用的是jdk 11,所以pom文件的这里需要改动一下:……当然,在开始编程之前,使用spark-shell交互式环境,体验一下scala的使用效果,也是不错的。错误的图木有了,正确的图示如上,总之这个semanticdb插件没有的话,就不行,还得手动安装一下。

2023-06-09 17:35:11 1360 5

原创 CENTO OS上的网络安全工具(二十二)Spark HA swarm容器化集群部署

在基于swarm构建hadoop ha集群的基础上,进一步构建了基于swarm的spark ha集群

2023-05-20 22:07:18 462

原创 CENTO OS上的网络安全工具(二十一)Hadoop HA swarm容器化集群部署

探讨利用swarm一键部署hadoop的分布式高可用环境。

2023-05-13 15:26:47 809

原创 CENTO OS上的网络安全工具(二十)ClickHouse swarm容器化集群部署

简要介绍了使用docker swarm方式进行clickhouse的跨物理节点集群化部署。

2023-03-30 20:17:42 508 1

原创 CENTO OS上的网络安全工具(十九)ClickHouse集群部署

Clickhouse的集群化部署

2023-03-06 17:44:46 792

原创 CENTO OS上的网络安全工具(十八)ClickHouse及编程环境部署

Clickhouse的单节点部署,及VSCODE开发环境的连接。

2023-03-06 17:13:46 1344

原创 CENTO OS上的网络安全工具(十七)搭建Cascade的Docker开发环境

结合cascade调试环境的构建案例,介绍VSCODE+Docker Desktop的开发调试环境构建方式,以及基于Dockerfile和docker-compose.yml配置启动基于容器或多服务容器的开发环境过程。

2022-12-14 10:25:57 1180

原创 CENTOS上的网络安全工具(十六)容器特色的Linux操作

记录了容器环境下精简操作系统限制条件下一些常规操作的方法,包括获取系统信息,网络配置,文件编辑,以及更换镜像源等。

2022-12-11 16:01:21 1503

原创 CENTOS上的网络安全工具(十五)cascade的部署

介绍了MITRE公司cascade分析工具的手工部署于docker、docker-compose部署方式

2022-12-09 16:33:01 1379

原创 CENTOS上的网络安全工具(十四)搬到Docker上(2)?

主要介绍了docker上systemctl不能正常运用的原因和解决方案,讨论了如何在容器中启动服务;结合docker中容器与主机间网络互访的实现,并讨论了windows主机无法ping通容器的问题;进一步,介绍了如何通过Windows远程桌面连接工具图形化登陆centos的方法,以及这种方法是否能在docker上实现的尝试。从多个方面的折腾实践,来微观地理解docker到底是什么,以及什么场景适合使用docker的问题。

2022-12-07 11:52:39 2331

原创 CENTOS上的网络安全工具(十三)搬到Docker上(1)?

简介在CentOS stream 8和windows系统上安装及使用docker的过程;以及如何从scrach或官方镜像开始,构建属于自己的基础镜像;重要的是,解决了从scrach构建镜像时可能遭遇的找不到应用文件的问题,以及为解决该问题附带的C、C++运行时静态库gligc/libstdc++的安装部署问题。

2022-11-18 13:19:00 1258

原创 CENTOS上的网络安全工具(十二)走向Hadoop(4) Hadoop 集群搭建

介绍了Hadoop完全分布式构建的详细过程,包括java版本、static user权限踩坑指南,4个xml配置文件的尽可能最小集尝试和解释,及根据start-dfs.sh,start-yarn.sh脚本分析得来的Hadoop完全手工启动流程。

2022-09-24 15:07:26 2218

原创 CENTOS上的网络安全工具(十一)走向Hadoop(3) MapReduce示例解析

对MapReduce示例程序Grep.java的源码执行流程进行分析,涉及Configuration,FileInputFromat,RegexMapper,ToolRunner,Tool,RecordReader等主要类

2022-09-09 11:02:24 606

原创 CENTOS上的网络安全工具(十)走向Hadoop(2) MapReduce调试环境构建

使用VSCODE和MAVEN构建Hadoop MapReduce的调试环境,解决源代码不能同时下载,无法在IDE中参考浏览的问题。

2022-09-01 21:48:21 1434

原创 CENTOS上的网络安全工具(九)走向Hadoop(1) SingleNode模式安装与配置

简介CentOS 8 Stream下Hadoop之SingleNode模式的安装部署

2022-08-12 22:44:15 1647 1

原创 CENTOS上的网络安全工具(八)Scapy协议解析

以DNS为例,简述基于scapy解析pcap文件,提取协议元数据,并在pymysql和pandas配合下,使用mysql进行数据管理和检索使用的方法。

2022-08-10 18:28:28 3159

原创 CENTOS上的网络安全工具(七)MYSQL也不能少

记录了在CENTOS8上在线以及离线安装mysql数据的过程,并简述了配置vscode进行远程数据库编程的基本操作。

2022-05-24 17:19:08 1401

原创 CENTOS上的网络安全工具(六)CODE之酱油打到底

介绍CODE的C++编译环境和远程编译环境的构建,包括CODE最主要的三个配置文件的生成和编辑方法,即负责生成器配置的task.json,负责调试器配置的launch.json,和负责解析器配置的c_cpp_properties.json,在此基础上进一步介绍了CODE的远程调试配置方法。

2022-05-23 22:27:54 737

原创 CENTOS上的网络安全工具(五)CODE来打个酱油

介绍GCC、G++、PYTHON、VSCODE的在线离线安装和配置使用方法

2022-04-30 22:54:21 3467

原创 CENTOS上的网络安全工具(四)wireshark离线安装

介绍yumdownloader、createrepo命令的离线安装;介绍exfat、ntfs格式的centos系统装载;介绍wireshark的安装。

2022-04-30 12:22:32 4996

原创 CENTOS上的网络安全工具(三)NetSA SiLK离线部署

介绍NetSA工具SiLK的离线安装方法,以及对rwflowpack yaf rwfilter配置过程中的一些容易出错的问题,给出了原因和解决方案。

2022-04-28 13:14:38 2414

原创 CENTOS上的网络安全工具(二)ARKIME部署安装

Arkime(Moloch)的在线与离线安装配置过程

2022-04-26 22:27:46 8063 5

原创 CENTOS上的网络安全工具(一)Suricata 离线部署

构造rpm包及其依赖的离线安装环境离线安装suricata,离线更新suricata规则,使用suricata离线检查pcap包

2022-04-17 21:59:06 4750 3

原创 VSFTPD搭建过程记录

对在CentOS上部署VSFTPD服务器的过程进行记录。主要针对搭建过程中,因为①用户鉴权问题;②FTP主被动模式问题;③防火墙问题等所导致的搭建失败现象进行了记录与讨论。涉及500 OOPS,500 Illegal PORT,530 Permission Denied等错误现象。

2022-04-05 17:52:37 1832

原创 Windows内核编程笔记(一)

介绍了使用VMWare或者Hyper-V虚拟机搭建传统的Windows内核编程开发调试环境的方法,并利用VS2015新建了一个极其简单的NT式驱动程序HelloWorld,通过介绍HelloWorld的安装、调试和设置DbgPrint过滤等知识,概要展现一个内核开发调试环境的搭建和使用方式。

2016-04-27 21:19:08 3347

原创 记一次驴唇不对马嘴的DIY之旅(十)

修好装盒子的木工活

2016-01-20 22:52:28 489

原创 记一次驴唇不对马嘴的DIY之旅(九)

DVP-891使用的MT389,及其激光头功率控制电路的分析

2016-01-20 22:46:46 716

原创 记一次驴唇不对马嘴的DIY之旅(八)

修理过程回顾

2016-01-20 22:33:14 456

原创 记一次驴唇不对马嘴的DIY之旅(七)

DH321的工作原理

2016-01-20 22:26:45 541

原创 记一次驴唇不对马嘴的DIY之旅(六)

用于开关电源的AZ431稳压芯片和PC817光耦

2016-01-20 22:15:25 487

原创 记一次驴唇不对马嘴的DIY之旅(五)

2015-12-30 20:39:33 576

原创 记一次驴唇不对马嘴的DIY之旅(四)

2015-12-26 22:54:21 768

原创 记一次驴唇不对马嘴的DIY之旅(三)

2015-12-25 22:33:59 501

原创 记一次驴唇不对马嘴的DIY之旅(二)

2015-12-20 23:03:45 599

原创 记一次驴唇不对马嘴的DIY之旅(一)

2015-12-20 22:42:43 582

原创 VSTO创建的Excel文档中序列型下拉列表造成文档无法打开的问题

由于工作并不是在手头这台机器上做的,所以只简单文字记录一下,希望能说得清楚。    最近在搞一个Excel扩展的东西,用VSTO自动设计并且填写电子表格。……这是个对于个人休闲作品来说略显复杂的工程,仅C#代码量约达到3000行,还要设计十几个页面模板,并融合约千行VBA代码……。在调试环境中一切正常,一上到实际环境就出问题了……而且我完全不知道问题出在什么地方……可以想象其时我有多么沮丧

2015-03-11 21:58:37 1736

Windows内核编程笔记(一)

介绍了使用VMWare或者Hyper-V虚拟机搭建传统的Windows内核编程开发调试环境的方法,并利用VS2015新建了一个极其简单的NT式驱动程序HelloWorld,通过介绍HelloWorld的安装、调试和设置DbgPrint过滤等知识,概要展现一个内核开发调试环境的搭建和使用方式。

2016-04-27

萝莉快跑cocos2dx 3.0beta版本

萝莉快跑cocos2dx 3.0beta版本,从2.2改过来的,去掉了关于功能和计分功能,重写了触屏回调部分以兼容3.0

2014-02-22

Addison-Wesley.NET. Programer.Windows.Security

Windows安全性编程的第二版,CSDN上原来那个只有目录,于是重新百度了一下,把有内容的放在这里

2012-02-19

Win32 API监视软件

常用的分析软件工具,别处转来的,可以直接监控制定进程的WIndows API调用,并且把参数都显示出来。比较好用。

2010-06-08

NT Login Windows登录原理解密

转的对Windows Login原理的描述,比较深入 E文版

2010-06-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除