大数据计算技术架构解析

大数据计算体系层次

在这里插入图片描述

在这里插入图片描述

1数据应用系统

在这里插入图片描述

2数据计算处理系统​​​​​​​​

​​​​​​​​在这里插入图片描述
在这里插入图片描述
计算模型(计算模式)的概念:
计算模型针对领域问题提出技术解决方案的基础模型、数据结构和算法

其中不同的计算模型的衡量标准:
在这里插入图片描述

3数据存储系统

在这里插入图片描述

3.1功能

3.1.1数据清洗、抽取和建模

在这里插入图片描述

3.1.1.1建模

在这里插入图片描述
​​在这里插入图片描述

3.1.1.1.1概念模型

(定义基于业务的实体类)

3.1.1.1.2逻辑模型

(给出实体类的更多表的细节(主键、外键等)在纸上表达的对数据(关系等)的抽象,数据库提供了数据的逻辑存储结构)

3.1.1.1.3物理模型(存储)

( 把实体数据存储到磁盘或者内存中,分布式文件系统提供数据的物理存储结构)

3.1.2数据存储架构

在这里插入图片描述
在这里插入图片描述

3.1.3数据仓库和数据服务
3.1.4统一数据接口

在这里插入图片描述
传统的数据库接口:ODBC、JDBC

  1. 在这里插入图片描述
    在这里插入图片描述

问题:如果数据库既需要支持java编写的应用程序,也要支持c++写的程序,所以:

在这里插入图片描述
目前的大数据采用的是:统一数据读写接口

3.2层次单元

3.2.1分布式文件系统:提供物理存储架构

(对数据的物理存储架构,如果没有,则无法长期、持久保存数据)
例如:HDFS、GFS都采用主从架构
主节点管理一组从节点
数据划分为小的数据块,又生成备份,都会存储到文件系统中
在这里插入图片描述

3.2.2分布式数据库:not only sql database

在这里插入图片描述

  • 1
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风吹海洋浪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值