今日指数项目之需求调研【三】_华为fusioninsight基于apache进行功能增强的企业级大数据存储、查询和分析的(4)-CSDN博客

本文链接：https://blog.csdn.net/2401_84181253/article/details/138887035

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

秒级行情(Hbase)：存储5日内秒级行情，数据量为2.88亿条
分时行情(Druid)：存储半年内分时行情数据，数据量为8.64亿条；
历史数据(Hive数仓)：以沪深市场2万只证券，存储时间按1年统计：
秒级行情： 210亿条以上
分时行情： 20亿条以上
K线： 1500万条以上

日数据采集总量统计：
20000（只）* 3600（秒）*4（小时）= 2.88（亿）≈ 85（GB）

技术选型

大数据平台作为基础数据平台，将负担起存储所有业务产生的数据信息，并在平台中按照业务应用进行模型标准化存储沉淀，平台的数据量将持续不断地增加，因此本期大数据平台的整体设计上将充分考虑使用分布式架构，对存储容量的规划将定位在PB级以上，同时保证将来存储容量在扩充时能够通过节点的增加，快速满足容量的扩展性需求。
存储容量设计方面，将满足以下方面：
1、大数据平台在存储容量扩展性方面，将满足随需快速扩展的功能，在存储容量达到PB级别以上时，仍能保证集群地正常运行，不影响数据的读写操作；
2、平台对于数据的存储能够按照最优存储和访问策略，自动在所有集群上对数据进行均衡存储；
3、平台所有节点及存储都运行在X86服务器上，保证集群扩展时在存储设备和节点采购使用的便利性；

需对技术组件做出选型：

数据采集：flume，socket,sqoop
数据存储：mysql，hdfs，hbase，redis，kafka,druid
数据计算：hive,spark sql，flink
数据分析：druid,kylin

具体版本

产品版本
zookeeper 3.4.5
kafka 1.0.0
hbase 1.2.0
hadoop 2.6.0
flink 1.7.0
flume 1.6.0
mysql 5.6
Redis 3.0

平台选择

1.Apache开源社区版本
完全开源、社区活跃，文档资料详细。在Hadoop生态圈中，组件的选择、使用，比如Hive，Mahout，Sqoop，Flume，Spark，Oozie等等，需要大量考虑兼容性的问题，整合困难，运维麻烦。
2.大数据平台产品
(1) CDH(Cloudera Distribution Hadoop)
最成型的发行版本，拥有最多的部署案例。版本管理清晰,在兼容性、安全性、稳定性上比Apache Hadoop强。提供了强大的部署、管理和监控工具,简化了部署和运维。
注：课程教学以CDH版本为主
(2)HDP(Hortonworks Data Platform)
100%开源，稳定性相比CDH稍弱，国内使用较少。
(3)FusionInsight
华为-FusionInsight，基于Apache进行功能增强的企业级大数据存储、查询和分析的统一平台。
(4)Transwarp Data Cloud
星环-Transwarp Data Cloud，基于Hadoop生态系列的大数据平台公司。
3.云端大数据
阿里云：国内阿里云实力最强，做公有云、私有云、混合云，面向中小型企业。
华为云：定位运营商和大中型企业，数据安全。

平台规划

1）机器配置
假设公司采购机器：
单机：
内存： 128G
CPU： 48C
磁盘： 10 * 1.2T

以消息队列日吞吐量计算需占用磁盘空间：
1.消息队列日数据吞吐量：2000万只证券1条/秒60604 = 2.88亿条
2.每条行情数据1kb左右,每天日志量: 2.88亿kb/1024/1024 ≈ 275G
3.一年磁盘存储量： 275G * 360天/1024 ≈ 97T
4.保存3个副本需占用磁盘总量：97T * 3 = 291T
5.预留30%的磁盘空间 = 291T/70% ≈ 416T
6.机器数量：
(1)机器一方案：416T/（1.2T * 10）≈ 35台
(2)机器二方案：416T/（1.2T * 15）≈ 23台
7.再加上元数据，主节点服务器，还需再加上一定数量的机器