大数据入门的基础知识

大数据
定义:短时间快速大量产生多种多样的有价值的信息 (个人理解)

大数据5V特性
大量(volume) 高速(velocity) 多样(variety) 低价值密度(value) 真实性(veracity)


为了解决数量过大的问题
①垂直扩展 (加大内存量)
在这里插入图片描述
②横向扩展 (一台连一台)
简单廉价的服务器或者pc端 就可以


谷歌三大论文

1、GFS --------------(HDFS分布式文件系统)分布式的存储
2、MapReduce----------分布式的处理
3、BigData-----------HBase


HDFS
Hadoop Common:支持其他Hadoop模块的常用实用程序。(工具类形式使用就可以)
Hadoop分布式文件系统(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。
Hadoop YARN:作业调度和集群资源管理的框架。
Hadoop MapReduce:基于YARN的系统,用于并行处理大型数据集。


yarn—资源和任务调度
mapreduce —批处理
Spark™:用于Hadoop数据的快速通用计算引擎
spark core
sparkSQL–可以使用sql处理
sparkStreaming—流式处理
mllib —机器学习库
graphx —spark停止维护

需要运用kafka flume hive(大型数据库 sql语句) zookeeper—协调服务 进行支撑

主从架构
主节点----Namenode
从节点----Datanode
client
hdfs读写机制:
存文件 读文件
备份----解决安全问题
block
以块的形式将大文件进行相应的存储
默认 1G
1.x 64M
2.x 128M


文件线性切割成块(block):偏移量offset(byte)
Block分散存储在集群节点中
单一文件Block大小一致,文件和文件可以不一致
Block可以设置副本数,副本分散在不同的节点中
副本数不要超过节点数量
文件上传可以设置Block大小和副本数
已上传的文件Block副本数可以调整,大小不变
只支持一次写入多次读取,同一时刻只有一个写入者
如图所示:
在这里插入图片描述


元数据 : 描述数据的数据
源数据 : 就是数据
Namenode(NN)作用:
1、掌控全局 管理Datanode(DN)信息 管理元数据
2、接受client的情求 然后开始读写
3、和DN之间相互通信
Datanode(DN)作用:
1、存储数据
2、向NN发送信息
3、接受client的情求


写操作
1、要有一个大文件
2、client会将大文件切成block块 block块=文件的大小/128(默认)
3、向Namenode情求:
3.1***********块数 文件大小 文件权限 文件属主 文件上传时间
下面为循环过程:
4、client分切下块 128M
5、client会向NN申请–DN的信息
6、NN返回一批负载不高的DN传送给client
7、client会向DN里面发送block平且做备份
8、DN存放block块之后会向NN回报
在这里插入图片描述

读请求
1、NN会向client发送一个请求,client接收到请求之后,会向NN去申请节点信息(blockid)
2、NN会向client发送一些节点信息
3、client获取到节点信息之后去DN上去拿数据-------里面默认就近原则
--------------------------------------------------------------------------------------------------------------------------
****
****
备份机制
1、集群内提交
在提交的节点上放置block
集群外提交
选择一个负载不高的节点进行存放
2、放置在与第一个备份不同的机架的任意节点上
3、放置在第二个机架上的不同节点上


pipeline管道
1、NN再返回给client一些DN的信息之后
2、client会和这些DN形成一个管道,并且将block切割成一个个ackPackage(64k)
3、DN会从管道中拿取相应的数据进行存储
4、当存储完成之后,DN会向NN进行汇报

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值