Hadoop
wyc_595998412
希望在今后5年实现以下目标:1、读最好的书 2、见最优秀的人 3、走一条属于自己的路。
展开
-
hive基础知识总结
分桶1.1什么是hash值将分桶之前,先讲一下什么是hash值(哈希值)?(比如 一个数或一个字符串的hash值,如5这个数的hash值。) 在这里,“5的hash值”这句话要中隐含着三个关键点:hash函数 被hash函数处理的元素 hash函数处理后的结果值例子:5 %4 = 1 其中“%4”就是一个hash函数 当然hash函数有各式各样的 如 ...原创 2018-08-31 16:32:37 · 1964 阅读 · 0 评论 -
Hadoop-Yarn资源调度流程
步骤1 用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。步骤2 ResourceManager为该应用程序分配第一个Container,并与对应的Node-Manager通信,要求它在这个Container中启动应用程序的ApplicationMaster。步骤3 ApplicationMaster首先...原创 2018-08-30 08:58:39 · 1030 阅读 · 0 评论 -
Hadoop、Spark五种大数据框架解析
Hadoop、Spark等5种大数据框架对比,你的项目该用哪种? 本文将介绍并对比5种主流大数据框架,助你更深层次了解这些框架,从而在项目中更好地使用它们。 本文首发于InfoQ垂直号「大数据杂谈」,转载已获授权。 简介 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的...转载 2018-09-02 12:05:33 · 2182 阅读 · 0 评论