![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
sinat_37138973
这个作者很懒,什么都没留下…
展开
-
Storm
大数据包括静态数据和动态数据(流数据),大数据计算包括批量计算和实时计算。 流数据(或数据流)是指在时间分布和数量上无限的一系列动态数据集合体;数据记录是流数据的最小组成单元。流数据特征:-数据快速持续达到,潜在大小也许是无穷无尽的。-数据来源众多,格式复杂。-数据量大,但不十分关注存储,一旦流数据中的某个元素经过处理,要么被丢弃,要么被归档存储。注重数据的整体价值,不过分关注个别数据。-数据顺序颠倒,或不完整,系统无法控制将要处理的新到达的数据元素的顺序。数据采集系统的基本架构有三部分:1、Agent:主原创 2022-06-07 17:00:04 · 481 阅读 · 0 评论 -
Hbase
Hbase基础介绍原创 2022-06-07 15:06:43 · 1942 阅读 · 0 评论 -
Hadoop实战
Hadoop安装部署Hadoop集群就是部署:● HDFS集群: 负责文件读写 name node 、data node● YARN集群:负责为Mapreduce程序分配运算硬件资源(name node机器上的resource manager、 data node机器上node manager)......原创 2021-08-20 22:04:56 · 447 阅读 · 0 评论 -
Hadoop YARN
YARN产生背景Hadoop1.x时:MapReduce: Master/Slave结构,1个JobTracker带多个TaskTracer。MapReduce1.x存在的问题:1、单点故障&节点压力大不易扩展2、资源利用率低、运维成本高HDFS2后才有了YARN:YARN:不同计算框架可以共享同一个HDFS集群上的数据,享受整体的资源调度。XXX on YARN的好处:与其他计算框架共享集群资源,按资源需要分配,进而提高集群资源利用率。XXX: S.原创 2021-08-20 21:55:06 · 89 阅读 · 0 评论 -
Mapreduce
分布式运算程序编程框架 MapReduceMapReduce概述●源自Google的MapReduce论文,发表于2004年12月●Hadoop Mapreduce是Google MapReduce的克隆版●MapReduce优点:海量数据离线处理&易开发&易运行●MapReduce缺点:实时流式数据Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能:是将用户编写的业务逻原创 2021-08-20 21:44:39 · 792 阅读 · 0 评论 -
Hadoop HDFS
目录HDFS基础HDFS架构副本存储策略Block 块HDFS读写HDFS写数据写文件异常情况处理HDFS读数据NAMENODE对元数据的管理伪分布式Hadoop安装(CDH版本)JAVA 操作HDFSJAVA API 操作HDFS文件HDFS基础HDFS设计目标●巨大的分布式文件系统●运行在普通、低廉的硬件上●易扩展,为用户提供性能不错的文件存储服务HDFS架构●HDFS集群分为两大角色:NameNode、原创 2021-08-18 21:46:04 · 642 阅读 · 0 评论 -
Hadoop 基础
目录HadoopHadoop优势高可靠性高扩展性其他生态系统狭义和广义的Hadoop发行版的选择核心组件核心组件包含:分布式文件系统HDFS资源调度系统YARN分布式计算框架MapReduceHadoop应用-数据处理流程参照典型的BI系统网站日志分析系统的流程参考离线数据处理流程燃料(大数据),引擎(神经网络)Hadoop开源的、可靠的、可扩展的,分布式的计算框架。Apache旗下的一套开源软件平台(类似于St..原创 2021-08-18 20:48:06 · 579 阅读 · 0 评论 -
大数据综述
大数据概述大数据生态圈:Hadoop生态圈,Spark生态圈大数据的4V特性:●Variety 多样的数据类型●Velocity 快速的数据流转●Value 发现数据价值●Volume 海量数据规模大数据涉及的技术●数据采集●数据存储●数据处理/分析/挖掘●可视化Google大数据技术●MapReduce(解决计算效率)●BigTable(解决读写速度)●GFS(解决存储容量)大数据框架对比Hadoop对比Storm●Hadoop是原创 2021-08-18 20:07:01 · 777 阅读 · 0 评论