lhyzws的专栏

上回说到在我们搭好的YAF3环境上使用yaf处理pcap文件得到silk flow，再使用super mediator工具转为ipfix，继而在spark中导入mothra，就可以开始数据分析了。然而在我们粗粗一用之下，却发现DPI信息在ipfix文件中找不到，到底是提取的时候就没提取出来（ipfix不支持dpi信息存储）？还是说我们的分析方式不对？——换句话说yaf、super-mediator、methora这三个环节，问题到底出在哪里了？我们卖了个关子，为本篇开启留了个伏笔。实则是我也不知道……。

介绍NetSA工具集 yaf + super mediator + mothra的安装部署方法，实现数据流、DPI信息的大数据分析平台构建。

介绍在容器中安装rwflowpacker、yaf和silk等NetSA 工具集的过程。由于将NetSA工具集和spark组装起来需要更加复杂的操作，所以相关内容将安排在后续同名文章中。。

前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop的single node。但是老师弄个容器或虚拟机用vscode远程访问式开发，终究还是有些不爽。还好，hadoop和spark都是支持windows的。不妨，我们弄个windows下的开发环境。然而，windows下开发环境的构建，需要一个转换程序winutils.exe，这个需要根据下载的hadoop的版本对应编译。

总之装这个一路都很玄学，因为有些下载在输出窗口里面是能看到的（如果选择了观察logs），有些下载操作在窗口是什么都看不到的——如果你以为什么动静都看不到就是装完了而试图区执行代码的时候，一般会收到internal error。由于我们使用的是jdk 11，所以pom文件的这里需要改动一下：……当然，在开始编程之前，使用spark-shell交互式环境，体验一下scala的使用效果，也是不错的。错误的图木有了，正确的图示如上，总之这个semanticdb插件没有的话，就不行，还得手动安装一下。

在基于swarm构建hadoop ha集群的基础上，进一步构建了基于swarm的spark ha集群

探讨利用swarm一键部署hadoop的分布式高可用环境。

简要介绍了使用docker swarm方式进行clickhouse的跨物理节点集群化部署。

Clickhouse的集群化部署

Clickhouse的单节点部署，及VSCODE开发环境的连接。

结合cascade调试环境的构建案例，介绍VSCODE+Docker Desktop的开发调试环境构建方式，以及基于Dockerfile和docker-compose.yml配置启动基于容器或多服务容器的开发环境过程。

记录了容器环境下精简操作系统限制条件下一些常规操作的方法，包括获取系统信息，网络配置，文件编辑，以及更换镜像源等。

介绍了MITRE公司cascade分析工具的手工部署于docker、docker-compose部署方式

主要介绍了docker上systemctl不能正常运用的原因和解决方案，讨论了如何在容器中启动服务；结合docker中容器与主机间网络互访的实现，并讨论了windows主机无法ping通容器的问题；进一步，介绍了如何通过Windows远程桌面连接工具图形化登陆centos的方法，以及这种方法是否能在docker上实现的尝试。从多个方面的折腾实践，来微观地理解docker到底是什么，以及什么场景适合使用docker的问题。

简介在CentOS stream 8和windows系统上安装及使用docker的过程；以及如何从scrach或官方镜像开始，构建属于自己的基础镜像；重要的是，解决了从scrach构建镜像时可能遭遇的找不到应用文件的问题，以及为解决该问题附带的C、C++运行时静态库gligc/libstdc++的安装部署问题。

介绍了Hadoop完全分布式构建的详细过程，包括java版本、static user权限踩坑指南，4个xml配置文件的尽可能最小集尝试和解释，及根据start-dfs.sh，start-yarn.sh脚本分析得来的Hadoop完全手工启动流程。

对MapReduce示例程序Grep.java的源码执行流程进行分析，涉及Configuration,FileInputFromat,RegexMapper,ToolRunner,Tool,RecordReader等主要类

使用VSCODE和MAVEN构建Hadoop MapReduce的调试环境，解决源代码不能同时下载，无法在IDE中参考浏览的问题。

简介CentOS 8 Stream下Hadoop之SingleNode模式的安装部署

以DNS为例，简述基于scapy解析pcap文件，提取协议元数据，并在pymysql和pandas配合下，使用mysql进行数据管理和检索使用的方法。