Hive
Forever_ck
热爱编程,喜欢和朋友交流,享受寻找新技术的乐趣!
展开
-
大数据数仓之Hive入门《一》
一 、Hive 基本概念1.1 什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。它是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。本质就是:将HQL 转化成 MapReduce 程序1)Hive 处理的数据存储在 HDFS2)Hive 分析数据底层的实现是 MapReduce3)执行程序运...原创 2018-11-29 18:53:43 · 642 阅读 · 0 评论 -
Hive中删除表失败问题(已解决!)
1.Hive删除表失败,查看logs报错如下:2.问题原因:Hive元数据有错,在Mysql中删除原先Hive元数据库,重新创建3.重启Hive,测试成功如下:原创 2019-01-07 18:08:26 · 3523 阅读 · 0 评论 -
Hive插入数据报错(解决)
1.报错如下:2.问题原因刚看到这个错误的,还以为语法有错误,后来发现原因竟然是末尾多了个双引号。 特写一篇博客,警醒自己要细心,细心,再细心3.解决办法删除末尾引号即可。...原创 2019-01-10 20:02:11 · 4914 阅读 · 0 评论 -
Hive表关联错误(已解决!)
在Hive表中关联数据时报错如下:问题原因:两表关联时相同字段列名也相同,导致关联报错!解决方法:指定字段所属表即可!原创 2018-12-25 21:43:00 · 1814 阅读 · 0 评论 -
Hive优化的十条详细策略(下)
继续我们前面地内容:上篇:https://blog.csdn.net/Forever_ck/article/details/85777938中篇:https://blog.csdn.net/Forever_ck/article/details/85780280五、并行执行Hive 会将一个查询转化成一个或者多个阶段。这样的阶段可以是 MapReduce 阶段、抽样阶段、合并阶段、limit...原创 2019-01-04 16:26:12 · 304 阅读 · 0 评论 -
Hive优化的十条详细策略(中)
话不多说,我们继续我们的Hive优化,上篇地址:https://blog.csdn.net/Forever_ck/article/details/857779383.6 笛卡儿积:尽量避免笛卡尔积,join 的时候不加 on 条件,或者无效的 on 条件,Hive 只能使用 1个 reducer 来完成笛卡尔积。3.7 行列过滤列处理:在 SELECT 中,只拿需要的列,如果有,尽量使用...原创 2019-01-04 15:48:36 · 470 阅读 · 0 评论 -
Hive优化的十条详细策略(上)
一、Fetch抓取Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more,老版本 hive默认是 minimal,该属性修改为 more 以后,在全局查找、字段查找、limit 查找等都不走mapreduce。配...原创 2019-01-04 15:16:27 · 683 阅读 · 0 评论 -
三分钟带你解析Hive中的json字符串(详细!)
很多时候,我们会在解析hive的时候,见到json的身影,那么今天我们就来聊聊hive中是如何解析json数据的,分析如下:创建json格式表:(我们的目的是为了解析json数据,所以就简单建一个表) create table t1(json string);如果报错,参看上篇错误!https://blog.csdn.net/Forever_ck/article/details/8505...原创 2018-12-18 11:50:42 · 10120 阅读 · 0 评论 -
Hive创建json格式表时报错问题(已解决!!!)
hive 创建 json格式表报错如下:日志信息:问题原因:缺少对应版本的 hive.hcatalog-core jar包,下载对应版本的jar包,导入hive安装目录下的 lib 目录下,问题解决如下:jar下载地址:https://www.mvnjar.com/org.apache.hive.hcatalog/hive-hcatalog-core/1.2.1/detail.html...原创 2018-12-17 20:47:55 · 899 阅读 · 0 评论 -
Hive常用函数总结(下)
这篇继续我们介绍我们的函数,上篇链接:https://blog.csdn.net/Forever_ck/article/details/85268145闲话少叙,开整:current_date 获取当前日期rtrim 去除字符串右边空格split 将字符串按照指定字符切割,返回一个数组upper 和 ucase 两个函数都可以将小写字母转为大写repeat(字符...原创 2018-12-26 21:03:12 · 728 阅读 · 0 评论 -
Hive常用函数总结(上)
在我们开发数仓项目的过程中,我们常常需要写一些复杂的 hql 语句来完成我们的业务逻辑,今天我们就来聊聊那些Hive中自带的常用函数。一、Hive中内置函数图解二、常用函数总结:(常用的数学和日期函数)round() 四舍五入取值 floor 向下取整 ceil 向上取整sqrt 求平方根abs 求绝对值greatest 求一组数据中的最大值...原创 2018-12-26 20:20:15 · 834 阅读 · 0 评论 -
Hive启动报错(已解决!)
今天在测试的时候发现这样一个小错误,分享如下:错误原因:因为Hive中的真实数据是存储在Hdfs上的,所以在启动Hive前,需要先启动Hadoop集群,在启动Hadoop集群的时候,我同时启动了Hive,导致集群进入了安全模式。解决办法:第一种方法:稍等一点时间,重新启动Hive。(当然电脑配置越高,所需时间就越短)第二种方法:执行如下命令退出安全模式即可。hadoop dfsadm...原创 2018-12-26 19:32:53 · 7521 阅读 · 0 评论 -
Hive多窗口启动异常(已解决!)
Hive安装完成后,因为默认其元数据Metastore是存储在自带的derby数据库中,所以在多窗口启动的时候会报如下异常:解决办法:配置Hive元数据存储地址为Mysql,重启Hive,问题解决,如果在重启Hive时出现异常,可尝试重启虚拟机!...原创 2018-12-19 19:41:38 · 853 阅读 · 0 评论 -
三秒+一个小Demo,轻松掌握Hive中的 列转行、行转列!!!
闲话少叙,直接开干!先看Demo:一、行转列首先,我们需要收集数据,创建一个文件,内容如下:一、启动Hive,创建表并导入数据:1.1 创建表 create table test(name string,xingzuo string,xuexing string) row format delimited fields delimated by "\t";1.2 导入数据...原创 2018-11-29 19:52:43 · 296 阅读 · 0 评论 -
Hive表中通过查询插入数据错误(解决!)
1.报错如下:2.错误原因:表中字段太多,为了简便使用了 select *,导致查询结果中的列数不匹配。3.解决办法:将 select * 改为需要的字段即可。原创 2019-01-08 21:05:41 · 2708 阅读 · 0 评论