![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Datalover_Cindy
热爱数字
展开
-
HIVE知识梳理(转载)
作为个人笔记增加了一些写过的例子,欢迎补充。1、 order by, sort by, distribute by, cluster by 背景表结构 在讲解中我们需要贯串一个 例子,所以需要设计一个情景,对应 还要有一个表结构和填充数据。如下: 有 3 个字段,分别为 personId 标识某一个人, company 标识一家公司名称,money 标识该公司每年盈利收入(单位:万元人民币)per...转载 2018-06-28 10:17:40 · 169 阅读 · 0 评论 -
Hive 中parse_url的使用
1、Hive的parse_url函数parse_url(url, partToExtract[, key]) - extracts a part from a URL解析URL字符串,partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。【host,path,query,ref,protocol...转载 2018-11-14 10:16:44 · 1402 阅读 · 0 评论 -
MapReduce的原理及执行过程
MapReduce简介MapReduce是一种分布式计算模型,是Google提出的,主要用于搜索领域,解决海量数据的计算问题。 MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分布式计算。MapReduce执行流程 MapReduce原理 MapReduce的执行步骤:1、Map任务处理 1.1 读...转载 2018-11-15 10:28:36 · 236 阅读 · 0 评论