Hive
Jackie_ZHF
日日新 苟日新 又日新
展开
-
Hive优化
Hive 优化核心思想:把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行 --select仅查询本表字段 --where仅对本表字段做条件过滤------------------------------------------------------------------------------Explain 显示执行计划EXPLAIN [EXTE...原创 2018-05-09 16:14:06 · 470 阅读 · 1 评论 -
Hive drop table时没有反应
Hive drop table时没有反应Hive drop table时没有反应,于是强制中断。网上找了很久的方法,终于在一个大神那里找到了解决之法。但写的略简单,下面对其进行补充。mysql> show variables like 'char%';第一步:进入mysql,输入:show variables like 'char%'。显示如下 此时的ch...转载 2018-12-11 22:08:08 · 396 阅读 · 0 评论 -
Hive常用函数大全
文章目录1 关系运算 1.1 1、等值比较: = 1.2 2、不等值比较: 1.3 3、小于比较: < 1.4 4、小于等于比较: <= 1.5 5、大于比较: > 1.6 6、大于等于比较: >= 1.7 7、空值判断: IS NULL 1.8 8、非空判断: IS NOT NULL 1.9 9、LIKE比较: LIKE 1.1...原创 2018-12-23 21:06:17 · 373 阅读 · 0 评论 -
Hive性能优化(全面)
Hive性能优化(全面)1.介绍首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。Jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的。Sum,count,max,min等UDAF,不怕数据倾斜问题,hado...原创 2019-04-04 22:41:37 · 340 阅读 · 4 评论 -
hive 处理 json数据
两种方式1、将json以字符串的方式整个入Hive表,然后通过使用UDF函数解析已经导入到hive中的数据,比如使用LATERAL VIEW json_tuple的方法,获取所需要的列名。2、在导入之前将json拆成各个字段,导入Hive表的数据是已经解析过得。这将需要使用第三方的SerDe。测试数据测试数据为新浪微博的评论数据,格式如下:{ "appCode": "weibo...转载 2019-06-13 18:34:57 · 414 阅读 · 0 评论