![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Big Data
文章平均质量分 92
小黄炒牛肉
这个作者很懒,什么都没留下…
展开
-
HBase学习总结
HBase学习总结跟学尚硅谷HBase,自我总结面试重点:【7成】调优-预分区+Rowkey设计【2成】读写原理【1成其他】开发重点:API操作第 1 章 HBase 简介HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个multi-dimensional map。HBase读比写慢稀疏性,逻辑结构构想出原创 2021-10-09 18:48:23 · 1551 阅读 · 0 评论 -
Hive源码学习总结
参考学习尚硅谷Hive源码篇,自我总结程序入口 — CliDriverrun方法——解析用户参数,包含"-e -f -v -database"等等executeDriver 方法——识别 hivesql语句的"> “和”;"processLine方法——解析单行 HQLprocessCmd方法——判别四种开头情况 -1-“quit"或者"exit”-2-“source”-3-"!"-4-HQLprocessLocalCmd 方法——HQL 执行的核心方法qp.run(cmd).原创 2021-10-02 10:22:42 · 184 阅读 · 0 评论 -
Hadoop学习总结-上篇(HDFS、MapReduce)
跟学尚硅谷Hadoop3.x,1 入门1.1 优势与组成(面试重点)HDFS-Hadoop Distributed File System,一个分布式文件系统NameNode(nn);DataNode(dn);Secondary NameNode(2nn)YARN-Yet Another Resource Negotiator ,另一种资源协调者,是 Hadoop 的资源管理器MapReduce -Map 阶段并行处理输入数据; Reduce 阶段对 ..原创 2021-09-23 11:05:32 · 343 阅读 · 0 评论 -
Hadoop学习总结-下篇(Yarn、调优、源码)
跟学尚硅谷Hadoop,自我总结4 Yarn4.1 概述 (面试重点)Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式 的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。(1)MR 程序提交到客户端所在的节点。(2)YarnRunner 向 ResourceManager 申请一个 Application。(3)RM 将该应用程序的资源路径返回给 YarnRunner。(4)该程序将.原创 2021-09-24 10:06:13 · 161 阅读 · 0 评论 -
Zookeeper学习笔记
Zookeeper学习笔记跟学尚硅谷Zookeeper,自我总结第 1 章 Zookeeper 入门Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目。数据结构ZooKeeper 数据模型的结构与 Unix 文件系统很类似,整体上可以看作是一棵树,每个 节点称做一个 ZNode。每一个 ZNode 默认能够存储 1MB 的数据,每个 ZNode 都可以通过 其路径唯一标识。应用场景提供的服务包括:统一命名服务、统一配置管理、统一集群管原创 2021-09-24 10:26:37 · 163 阅读 · 0 评论 -
Hive学习总结-调优篇
HIVE调优仅为调优检索,只列举大致思路,不包含具体调优操作10.1-10.3 Explain-Fetch-本地模式执行计划(Explain)查看下面这条语句的执行计划explain select * from emp;Fetch 抓取: Hive 中对某些情况的查询可以不必使用MapReduce 计算例如:SELECT * FROM employees, 在这种情况下,Hive 可以简单地读取 employee 对应的存储目录下的文件, 然后输出查询结果到控制台。在 hive-defa原创 2021-09-30 10:21:12 · 253 阅读 · 0 评论 -
Hive学习总结-基础篇-Hadoop MapReduce
Hive学习总结跟学尚硅谷Hive,自我总结第 1 章 Hive 基本概念优缺点、架构(驱动器部分)、与数据库比较1) hive 简介Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。2) Hive 本质:将 HQL 转化成 MapReduce 程序(1)Hive 处理的数据存储在 HDFS(2)Hive 分析数据底层的实现是 MapReduce原创 2021-09-30 09:47:29 · 429 阅读 · 0 评论