![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
楓尘林间
计算机爱好者
展开
-
java通过jdbc连接hive数据库时,无法使用count()语句
问题:java通过jdbc连接hive数据库可以运行select * from tables但是运行count(*) 报错:select count(*) from tables解决参考1:zyl26的博客出现原因可能是:因为执行" select * from table; "并不需要启动mapreduce任务。而执行"select count(*) from table;"需要启动mapreduce任务。解决方法看执行过程的错误信息,我得到的信息是当前用户对于hdfs文件系统的/原创 2020-11-25 15:02:02 · 1287 阅读 · 0 评论 -
spark读写相同路径文件
有些情况下,需要spark读取A路径文件,处理后再存入A路径,如不注意,会报错!!!1.读写相同的HIVE表spark读取hive表: // 原始数据 final_data = spark.sql(s"select * from ${userid}.${datasetid}") .....对数据操作..... 不能 select 后在overwrite同一张表:错误的: Spark报错final_data.write.mode("overwr原创 2020-08-18 17:24:29 · 1261 阅读 · 1 评论 -
Hive脚本化运行及健康检测
之前一直想做一个Hive一键运行脚本找了很久才找到这篇博客首先一定要确认环境变量中添加了hive环境变量参考参考vi /etc/profile文件内添加:export HIVE_HOME=/usr/local/hive(自己hive的安装目录)export PATH=$PATH:$HIVE_HOME/binsource /etc.profile测试一下:执行 ...原创 2019-12-09 09:45:21 · 622 阅读 · 0 评论 -
Hive数据类型转换
首先看一下类型转换表(来自https://www.iteblog.com/archives/892.html)我们可以用CAST来显式的将一个类型的数据转换成另一个数据类型。如何使用?CAST的语法为cast(value AS TYPE)。举个例子:假如我们一个员工表employees,其中有name、salary等字段;salary是字符串类型的。有如下的查询:SELECT name, sa...转载 2019-09-16 16:26:22 · 20383 阅读 · 0 评论 -
spark sql substr函数
开发中,经常进行模糊查询或者进行截取字符串进行模糊匹配,常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数 返回值: string 说明:返回字符串A从start位置到结尾的字符串举例演示:...原创 2019-10-10 16:25:39 · 13259 阅读 · 0 评论