![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 80
凉心良意
凉心良意
展开
-
Hive的特性以及它和Hbase 的区别
Hive 数据仓库hive的存储是基于hdfs/hbase的,hive的计算是基于mapreduceHive 特点简单易用基于SQL表达式语法,兼容大部分SQL-92语义和部分SQL-2003扩展语义可扩展性Hive基于Hadoop实现,可以自由的扩展集群的规模,一般情况下不需要重启服务延展性Hive支持用户自定义函数,用户可以根据自己的需求自定义函数容错性Hadoop良好的容错性,节点出现文帝,SQL仍可完成执行适用于:大数据集的批处理统计分析作业,例如:网络日志分原创 2021-06-24 23:13:35 · 213 阅读 · 1 评论 -
理解 Hbase
HbaseHadoop是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库基本结构表 table行 row行键 rowkey列族 column family列限定符 qualifier单元格 cell版本、时间戳数据模型idnameAgeHobbyAddress01zhangsan26篮球山东020304变成这样:RowdyFamily1Family2原创 2021-06-23 17:12:44 · 189 阅读 · 1 评论 -
HDFS_HA & Zookeeper 学习笔记
HDFS_HA & ZookeeperHA 架构图zk: ZooKeeper 分布式应用程序服务的组件NN: NameNode 管理文件系统的元数据信息DN: DataNode 存储数据的JN: JournalNode 主要用于NN的数据共享zkfc: ZooKeeperFailoverControl 监控和管理NN的状态HA使用active NN和standby NN两个节点解决单点问题,两个NN节点通过JN集群共享状态,通过ZKFC选举active,监控NN的状态,实现自动备原创 2021-06-23 17:04:35 · 185 阅读 · 0 评论 -
YARN资源调度原理
文章目录YARN资源调度器为什么要用Yarn ?Yarn 守护式进程ResourceManager 做什么?理解:NodeMangers 做什么其他解释:Yarn 运行一个应用程序容器:ApplicationMaster提交一个 Application 到 Yarn 的流程1、提交一个MR应用程序2 、ApplicationMaster 资源请求3、容器分配4、ApplicationMaster 分发task5、 运行过程中Yarn 容器生命周期数据本地性总结: 集群资源分配Yarn 容错性Web UIYa原创 2021-06-23 16:46:57 · 504 阅读 · 2 评论 -
MapReduce计算原理
文章目录MapReduce 分布式计算系统MapReduce 是一种编程模型(计算框架)MapReduce采用“分而治之”策略MR是移动计算 是 “计算向数据靠拢“MR特性MR术语解释作业任务客户端MR_V1 结构流程解释Map wordCount 例子CombinerMap shuffle(洗牌)Partition(分隔)MR计算过程MR工作流程流程详解:SplitMR应用执行过程零碎:流程详解(拓展):MapReduce 分布式计算系统input->Splitting->Mappin原创 2021-06-23 16:40:12 · 1561 阅读 · 0 评论 -
HDFS原理与使用
文章目录HDFSHDFS提供了哪些特性HDFS 块NameNode 作用Secondary NameNode 作用SecondaryNameNode 诞生来源所以DataNode 作用非HA的HDFSHA的HDFSHDFS是如何读取和写入文件?写文件详细步骤如果管道里有个DN出问题:读取一个文件详细步骤处理数据损坏数据的可靠性及恢复NameNode如何使用内存?为什么HDFS喜欢少量的大文件Hadoop如何保障文件的安全性?HDFS文件的权限Hadoop安全概览如何使用NameNode的Web用户界面?如何原创 2021-06-23 16:33:49 · 223 阅读 · 0 评论 -
Hadoop报错 JAVA_HOME 找不到
Master 主机修改 hadoop-env.sh 文件vi hadoop-env.sh 修改 JAVA_HOME 为绝对路径# export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/Users/liuyang/Desktop/Young_Hadoop/docker/jdk1.8如果不知道 hadoop-env.sh 文件在哪在Master主机使用命令 即可查找find / -name hadoop-env.sh [root@0769c7b22f0原创 2021-03-30 21:11:09 · 5285 阅读 · 0 评论