- 博客(51)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 CENTOS上的网络安全工具（三十三） Portainer Kafka-Clickhouse部署(2)
上一篇我们测试了在“裸金属节点”上的Kafka集群部署，本篇我们将利用Portainer和Docker swarm集群进行Kafka集群的一键部署。
2025-12-14 15:28:18
1005
原创 CENTOS上的网络安全工具（三十二） Portainer Kafka-Clickhouse部署（1）
简要介绍在CentOS Stream 8 中安装3节点Kafka集群过程，Kafka集群中每节点即为controller也为borker。
2025-11-29 12:37:43
790
原创 CENTOS上的网络安全工具（二十八）SPARK+NetSA Security Tools容器化部署(4)
在一长串努力的基础上，现在我们应该可以构建较为完整的数据预处理到分析的流程了。下面我们从单容器开始，逐步构建集群化的数据处理分析环境——当然这个环境仍然是初步的，我们暂时还只能将其限制在对pcap文件的批量导入处理上。毕竟，还有好多东西我们尚未涉足。
2025-11-22 15:55:52
831
原创 CENTOS上的网络安全工具（三十一）DPDK和HYPERSCAN基础程序开发
较少了基于vscode搭建DPDK和HyperScan编译环境，并编制一个简单的使用DPDK和HyperScan‘进行流量统计的程序
2024-10-18 11:49:15
660
原创 CENTOS上的网络安全工具（三十）DPDK和HyperScan环境构建
介绍DPDK和HyperScan编译安装过程，以及安装过程中需要掌握的命令，和配置DPDK命令行参数所需要了解的硬件知识初步。
2024-10-10 17:56:58
855
原创 CENTOS上的网络安全工具（二十七）SPARK+NetSA Security Tools容器化部署(3)
上回说到在我们搭好的YAF3环境上使用yaf处理pcap文件得到silk flow，再使用super mediator工具转为ipfix，继而在spark中导入mothra，就可以开始数据分析了。然而在我们粗粗一用之下，却发现DPI信息在ipfix文件中找不到，到底是提取的时候就没提取出来（ipfix不支持dpi信息存储）？还是说我们的分析方式不对？——换句话说yaf、super-mediator、methora这三个环节，问题到底出在哪里了？我们卖了个关子，为本篇开启留了个伏笔。实则是我也不知道……。
2023-07-07 17:03:02
1575
原创 CENTOS上的网络安全工具（二十六）SPARK+NetSA Security Tools容器化部署(2)
介绍NetSA工具集 yaf + super mediator + mothra的安装部署方法，实现数据流、DPI信息的大数据分析平台构建。
2023-06-26 13:14:22
4762
原创 CENTOS上的网络安全工具（二十五）SPARK+NetSA Security Tools容器化部署(1)
介绍在容器中安装rwflowpacker、yaf和silk等NetSA 工具集的过程。由于将NetSA工具集和spark组装起来需要更加复杂的操作，所以相关内容将安排在后续同名文章中。。
2023-06-22 18:29:56
2274
原创 CENTOS上的网络安全工具（二十四）Windows下的Hadoop+Spark编程环境构建
前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop的single node。但是老师弄个容器或虚拟机用vscode远程访问式开发，终究还是有些不爽。还好，hadoop和spark都是支持windows的。不妨，我们弄个windows下的开发环境。然而，windows下开发环境的构建，需要一个转换程序winutils.exe，这个需要根据下载的hadoop的版本对应编译。
2023-06-11 21:39:00
8933
原创 CENTO OS上的网络安全工具（二十三）VSCODE SPARK 容器式编程环境构建
总之装这个一路都很玄学，因为有些下载在输出窗口里面是能看到的（如果选择了观察logs），有些下载操作在窗口是什么都看不到的——如果你以为什么动静都看不到就是装完了而试图区执行代码的时候，一般会收到internal error。由于我们使用的是jdk 11，所以pom文件的这里需要改动一下：……当然，在开始编程之前，使用spark-shell交互式环境，体验一下scala的使用效果，也是不错的。错误的图木有了，正确的图示如上，总之这个semanticdb插件没有的话，就不行，还得手动安装一下。
2023-06-09 17:35:11
1752
6
原创 CENTO OS上的网络安全工具（二十二）Spark HA swarm容器化集群部署
在基于swarm构建hadoop ha集群的基础上，进一步构建了基于swarm的spark ha集群
2023-05-20 22:07:18
553
原创 CENTO OS上的网络安全工具（二十一）Hadoop HA swarm容器化集群部署
探讨利用swarm一键部署hadoop的分布式高可用环境。
2023-05-13 15:26:47
1264
原创 CENTO OS上的网络安全工具（二十）ClickHouse swarm容器化集群部署
简要介绍了使用docker swarm方式进行clickhouse的跨物理节点集群化部署。
2023-03-30 20:17:42
691
1
原创 CENTO OS上的网络安全工具（十七）搭建Cascade的Docker开发环境
结合cascade调试环境的构建案例，介绍VSCODE+Docker Desktop的开发调试环境构建方式，以及基于Dockerfile和docker-compose.yml配置启动基于容器或多服务容器的开发环境过程。
2022-12-14 10:25:57
1430
原创 CENTOS上的网络安全工具（十六）容器特色的Linux操作
记录了容器环境下精简操作系统限制条件下一些常规操作的方法，包括获取系统信息，网络配置，文件编辑，以及更换镜像源等。
2022-12-11 16:01:21
1912
原创 CENTOS上的网络安全工具（十五）cascade的部署
介绍了MITRE公司cascade分析工具的手工部署于docker、docker-compose部署方式
2022-12-09 16:33:01
2111
原创 CENTOS上的网络安全工具（十四）搬到Docker上（2）?
主要介绍了docker上systemctl不能正常运用的原因和解决方案，讨论了如何在容器中启动服务；结合docker中容器与主机间网络互访的实现，并讨论了windows主机无法ping通容器的问题；进一步，介绍了如何通过Windows远程桌面连接工具图形化登陆centos的方法，以及这种方法是否能在docker上实现的尝试。从多个方面的折腾实践，来微观地理解docker到底是什么，以及什么场景适合使用docker的问题。
2022-12-07 11:52:39
2757
原创 CENTOS上的网络安全工具（十三）搬到Docker上（1）?
简介在CentOS stream 8和windows系统上安装及使用docker的过程；以及如何从scrach或官方镜像开始，构建属于自己的基础镜像；重要的是，解决了从scrach构建镜像时可能遭遇的找不到应用文件的问题，以及为解决该问题附带的C、C++运行时静态库gligc/libstdc++的安装部署问题。
2022-11-18 13:19:00
1565
原创 CENTOS上的网络安全工具（十二）走向Hadoop（4） Hadoop 集群搭建
介绍了Hadoop完全分布式构建的详细过程，包括java版本、static user权限踩坑指南，4个xml配置文件的尽可能最小集尝试和解释，及根据start-dfs.sh，start-yarn.sh脚本分析得来的Hadoop完全手工启动流程。
2022-09-24 15:07:26
2485
原创 CENTOS上的网络安全工具（十一）走向Hadoop（3） MapReduce示例解析
对MapReduce示例程序Grep.java的源码执行流程进行分析，涉及Configuration,FileInputFromat,RegexMapper,ToolRunner,Tool,RecordReader等主要类
2022-09-09 11:02:24
715
原创 CENTOS上的网络安全工具（十）走向Hadoop（2） MapReduce调试环境构建
使用VSCODE和MAVEN构建Hadoop MapReduce的调试环境，解决源代码不能同时下载，无法在IDE中参考浏览的问题。
2022-09-01 21:48:21
1633
原创 CENTOS上的网络安全工具（九）走向Hadoop（1） SingleNode模式安装与配置
简介CentOS 8 Stream下Hadoop之SingleNode模式的安装部署
2022-08-12 22:44:15
1873
1
原创 CENTOS上的网络安全工具（八）Scapy协议解析
以DNS为例，简述基于scapy解析pcap文件，提取协议元数据，并在pymysql和pandas配合下，使用mysql进行数据管理和检索使用的方法。
2022-08-10 18:28:28
3618
1
原创 CENTOS上的网络安全工具（七）MYSQL也不能少
记录了在CENTOS8上在线以及离线安装mysql数据的过程，并简述了配置vscode进行远程数据库编程的基本操作。
2022-05-24 17:19:08
1580
原创 CENTOS上的网络安全工具（六）CODE之酱油打到底
介绍CODE的C++编译环境和远程编译环境的构建，包括CODE最主要的三个配置文件的生成和编辑方法，即负责生成器配置的task.json，负责调试器配置的launch.json，和负责解析器配置的c_cpp_properties.json，在此基础上进一步介绍了CODE的远程调试配置方法。
2022-05-23 22:27:54
926
原创 CENTOS上的网络安全工具（四）wireshark离线安装
介绍yumdownloader、createrepo命令的离线安装；介绍exfat、ntfs格式的centos系统装载；介绍wireshark的安装。
2022-04-30 12:22:32
5854
原创 CENTOS上的网络安全工具（三）NetSA SiLK离线部署
介绍NetSA工具SiLK的离线安装方法，以及对rwflowpack yaf rwfilter配置过程中的一些容易出错的问题，给出了原因和解决方案。
2022-04-28 13:14:38
2715
原创 CENTOS上的网络安全工具（一）Suricata 离线部署
构造rpm包及其依赖的离线安装环境离线安装suricata，离线更新suricata规则，使用suricata离线检查pcap包
2022-04-17 21:59:06
5589
3
原创 VSFTPD搭建过程记录
对在CentOS上部署VSFTPD服务器的过程进行记录。主要针对搭建过程中，因为①用户鉴权问题；②FTP主被动模式问题；③防火墙问题等所导致的搭建失败现象进行了记录与讨论。涉及500 OOPS，500 Illegal PORT，530 Permission Denied等错误现象。
2022-04-05 17:52:37
2027
原创 Windows内核编程笔记（一）
介绍了使用VMWare或者Hyper-V虚拟机搭建传统的Windows内核编程开发调试环境的方法，并利用VS2015新建了一个极其简单的NT式驱动程序HelloWorld，通过介绍HelloWorld的安装、调试和设置DbgPrint过滤等知识，概要展现一个内核开发调试环境的搭建和使用方式。
2016-04-27 21:19:08
3436
Windows内核编程笔记（一）
2016-04-27
Addison-Wesley.NET. Programer.Windows.Security
2012-02-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人