网络流量大数据分析平台(2)

紧接上一篇博客,来说一下整个流量系统的数据流及业务导向。

一、数据流

根据当前的需求分析,总结有以下几种:
1.原始pcap的存储以及搜索及下载。这个很好理解,乙方这边希望可以依靠我们的平台将原始的流量数据存储起来,同时呢,比如说这个包有问题,或者说这个包有价值,需要进一步分析,这时候也希望我们提供一个搜索及下载的功能。
所以,这个需求就对应了一条数据流向:
在这里插入图片描述
如上图所示,设计如下:
原始流量数据存储至hdfs,hdfs比较适合存储大文件。同时为每一个包动态生成索引,并存储至es中,当用户需要去查询或者下载的时候,就可以直接通过es找到对应的hdfs的存储位置。
2.已知的协议数据
如前文所说,已知协议都是嵌套的JSON数据。所以很好办了,直接在Flink中解析入库至es中。在这里插入图片描述
3.未知协议数据
未知协议待补充。

好了,终于说完了整个系统的宏观。接下来记录一下细节部分。

二、系统搭建

首先就是搭建这样一套系统了。自然是网上搜索各种教程,不过最后总结一下,还是官网比较靠谱。
分为以下三个部分:
1.环境准备
2.组件安装
3.健康检查
为了后续的重复利用,这边直接写了自动化脚本来实现重复安装。

1.环境准备

未完待续。。。。(有时间就写几句)

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值