了解传统数据与大数据

最新推荐文章于 2024-05-13 18:45:12 发布

坐在坟头调戏鬼丿| |

最新推荐文章于 2024-05-13 18:45:12 发布

阅读量3.6k

点赞数

文章标签：大数据分布式 hadoop

本文链接：https://blog.csdn.net/wangxiansheng322/article/details/108986619

版权

本文探讨了传统数据与大数据的区别，包括数据量、增长速度、多样化和价值。大数据具有更大的规模、更快的增长速度和更丰富的数据类型，适用于深度分析。在服务器安装规范方面，大数据倾向于使用多个独立硬盘，强调数据的热插拔和支持分布式存储。同时，文章对比了两者处理方式，指出大数据侧重于横向扩展、分布式资源和移动计算。Hadoop作为大数据的重要组件，包括HDFS、MapReduce和YARN，提供分布式存储和计算能力。

摘要由CSDN通过智能技术生成

了解传统数据与大数据

传统数据与大数据相比
数据量传统数据gb-tb 大数据tb-pb以上
增长速度传统数据数据量稳定增长缓慢大数据持续实时生产数据
多样化传统数据主要为结构化数据大数据半结构化，非结构化，多维数据
价值传统数据统计和报表大数据数据挖掘预测分析

大数据服务器安装规范
系统硬盘
两个硬盘做一个raid1
引导分区：200M
交换分区：可以不设置或设置的很小，在使用大数据时需要将其关闭
根分区：/
数据硬盘
多个硬盘，每个硬盘独立挂载，有多少个硬盘挂载多少个目录
数据硬盘优先不做raid处理，必须做时，做raid0
做raid
优点：数据读写效率稍高
缺点：不支持热插拔，一块硬盘损坏，服务器需要关机才能处理该硬盘
不做raid
优点：支持热插拔，若一块硬盘损坏可即插即拔，不需要关机
缺点：数据的读写效率稍低

传统数据与大数据处理方式的对比
扩展性传统数据纵向扩展（服务器数量不变，配置越来越高）大数据横向扩展（配置不变，服务器数量越来越多）
分布式传统数据资源集中大数据资源分布
可用性传统数据单份数据大数据数据复制
模型传统数据移动数据大数据移动计算程序

大数据技术快的原因是
分布式存储
分布式并行计算
移动程序到数据端
更先进，更前卫的实现思路
更细分的业务场景
更先进的软件和硬件技术

Hadoop的内部组成
h