JK_GOME的博客

基于上述的问题，我们先来对异步IO有个大致的认识，了解的同学可以选择跳过。流计算系统中经常需要与外部系统（Redis、MySQL等）进行交互，我们通常的做法如向数据库发送用户a的查询请求，然后等待结果返回，在这之前，我们的程序无法发送用户b的查询请求。这是一种同步访问方式，如下图所示。图中棕色的长条表示等待时间，可以发现网络等待时间极大地阻碍了吞吐和延迟。为了解决同步访问的问题，异步模...

对于Airflow的介绍、作用，在此不做赘述，以下是本人在工作中，对于Airflow的使用和一些填坑，希望对您有所帮助。首先，介绍一下需求在大数据处理阶段，也就是数据的ETL，我们通过公司自己开发的平台，将各个业务流程模型化，模型 = 输入算子 + 数据处理算子（SQL化，底层为sparksql） + 输出算子，类似于这种模型，代表一个个的业务，对于开发者来说，当然比较方便，但在客户公司去...

    Moloch是一个开源的、大规模的、完整的数据包捕获、索引和数据库系统。Moloch增强了当前的安全基础设施，以标准的PCAP格式存储和索引网络流量，提供快速、索引的访问。为用户快速的浏览、索引和导出提供了直观而简单的web界面。 下面我们来介绍它的安装及配置。    Moloch系统主要由三部分组成 1. Capture 一个线程使用C语言编写用于监控网络流量，将PCAP格式化文件写入磁...