HIVE
何星平
当你的才华还撑不起你的野心的时候,你就应该静下心来学习;当你的能力还驾驭不了你的目标时,就应该沉下心来,历练;梦想,不是浮躁,而是沉淀和积累,只有拼出来的美丽,没有等出来的辉煌,机会永远是留给最渴望的那个人,学会与内心深处的你对话,问问自己,想要怎样的人生,静心学习,耐心沉淀,送给自己,共勉。
展开
-
理解数据仓库中星型模型和雪花模型
理解数据仓库中星型模型和雪花模型 ...转载 2019-07-02 11:10:47 · 986 阅读 · 0 评论 -
hive优化
优化(1)map优化——调整block大小——>并发度调整set mapred.max.split.size=100000000; // 每个map处理最大文件大小,单位B,确认启动多少map数量set mapred.min.split.size.per.node=100000000; // 节点中可以处理最小的文件大小set mapred.min.split.size.per.r...原创 2019-06-28 17:40:49 · 167 阅读 · 0 评论 -
Hive 常用函数
参考地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFHive 常用函数parse_url(url, partToExtract[, key])解析URL字符串,partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERIN...原创 2019-06-19 15:40:03 · 176 阅读 · 0 评论 -
大数据技术之Hive
第1章 Hive入门1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上1.2 Hi...翻译 2019-06-28 17:41:23 · 745 阅读 · 0 评论 -
HIVE详解
目录大纲(HIVE增强) 3Hive基本概念 41.1 Hive简介 41.1.1 什么是Hive 41.1.2 为什么使用Hive 41.1.3 Hive的特点 41.2 Hive架构 51.2.1 架构图 51.2.2 基本组成 51.2.3 各组件的基本功能 51.3 Hive与Hadoop的关系 61.4 Hive与传统数据库对比 61.5 Hive的数据存储 ...翻译 2019-06-18 17:04:13 · 435 阅读 · 0 评论