大数据服务器小知识

本文探讨了传统服务器与大数据服务器的区别,并详细介绍了大数据技术快速处理数据的原因,重点讲解了Hadoop的三个核心组成部分:HDFS作为大规模数据的存储系统,MapReduce用于计算的框架,以及YARN的集群资源管理调度功能。
摘要由CSDN通过智能技术生成

1传统服务器和大数据服务器

1.1 传统服务器
系统硬盘 完全独立 不存储业务数据
物理磁盘做raid1 两个磁盘 用来备份
/boot 200m
/SWAP 内存的1-2倍
/ 所有空间
数据硬盘
多块小的硬盘 做一个大的硬盘(逻辑卷)

在这里插入图片描述

1.2大数据服务器
系统硬盘(100%完全独立,不要存储业务数据)
物理磁盘做raid1(两个硬盘物理备份)
/boot 200M
/SWAP 内存的1-2被(大数据集群中要关闭)	
/ 所有的空间
数据硬盘
优先不做raid 必须做raid时 物理磁盘做raid0
多块小的硬盘独立挂载(一个硬盘一个目录)

2大数据技术为什么快

1、传统的时纵向扩展
服务器数量不发生变化,配置越来越高(发生变化)
大数据横向扩展
配置不发生变化,服务器数量越来越多(发生变化)
2 传统的方式资源(cpu/内存/硬盘)集中
大数据方式资源(cpu/内存/硬盘)分布(前提:同等配置的前提下) 3 传统数据备份方式单份备份
大数据数据备份方式多分备份(数据复制,默认三个副本)
4 传统的计算模型是移动数据到程序端
大数据计算模型是移动程序到数据端
io  和网络的使用率都非常低,且多节点存储&#
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值