Hive
文章平均质量分 53
99滴神
希望与大家共同进步!加油!
展开
-
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR
mysql数据导入hive出现以下错误:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.经过查阅资料可知,发现是自己路径设置可能没有设置,肯定有问题。方式一:检查HIVE_CONF_DIR是否有设置echo $HIVE_CONF_DIR如果为空,则是说明没有设置HIVE_CONF_DIR 路径vim ~/.原创 2021-06-27 19:25:00 · 1742 阅读 · 1 评论 -
Hive -- 常用的hive查询函数
1、get_json_object()函数get_json_object(STRING json_string, STRING path)说明:如果其中一个字段数据为json格式的字符串,但实际上的需求是获取json格式字符串中的一个属性的值,那么,就需要用到此函数了。{ "target_action":"11111","lval":{"hdata":{"channo":"118","uid":"...原创 2021-05-25 10:46:38 · 307 阅读 · 0 评论 -
Hive -- 时间戳转日期需要/1000的解释
hive中的时间戳转日期的函数为:from_unixtime(BIGINT unixtime,STRING format)首先这里我要说一下,这里的unixtime的输入单位十秒,也就是十位的BIGINT。但是呢,在我们实际中用的时间戳一般都是十三位的时间戳,精确到毫秒了,如果将精确到毫秒的时间戳输入方法中会有错误,出现错误的日期。解决办法:如果是13位的时间戳,可使用下面的方法from_unixtime(cast(timestamp/1000 as bigint)) as ti原创 2021-05-25 08:40:28 · 3531 阅读 · 0 评论 -
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
说明:突然重启电脑后,重新开启hadoop,启动hive,出现以下错误:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeMo deException): Cannot create directory /tmp/hive/root/9dc0dfcd-a02d-41f3-b524-dc85089e4c3f. Name node is in...原创 2021-05-17 14:14:46 · 5639 阅读 · 4 评论 -
Hive -error- 数据仓库问题:FAILED: SemanticException Unable to determine if hdfs://master:9000/user/hiv
说明:今天我将集群的主机名修改了,集群能正常启动,但启动hive后,从hive的其中一张表中获取数据出现错误错误如下:FAILED: SemanticException Unable to determine if hdfs://master:9000/user/hive/warehouse/emp is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/ ...原创 2021-05-16 22:17:09 · 964 阅读 · 0 评论 -
Hive -案例1- 将json数据导入hive表、hive与hbase整合和hbase与hive整合
说明:通过案例来温故下用到的知识点。案例: 数据准备:ip7.json{"id":188,"ip":"112.168.10.129","domain":"www.baidu.com","port":80}{"id":267,"ip":"132.158.140.119","domain":"www.baidu1.com","port":807}{"id":3445,"ip":"112.168.10.129","domain":"www.alibaba.com","port":805}..原创 2021-05-07 19:46:25 · 437 阅读 · 0 评论 -
Hive中运行任务报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
错误如下:java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:126) at org.apache.hadoop.fs.Path.<init>(Path.java:134) at org.apache.hadoop.mapreduce...原创 2021-05-06 21:47:50 · 3906 阅读 · 0 评论 -
Hive -- 使用本地模式的条件
为什么使用本地模式? 大多数的Hadoop, Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。有的时候Hive的输入数据量是非常小的。在这种情况下,为查询触发执行任务的时间消耗可能会比实 际job的执行时间要多得多。对于大多数这种情况,Hive 可以通过本地模式在单台机器上(或 某些时候在单个进程中)处理所有的任务。对于小数据集,执行时间可以明显被缩短。所以用户在执行过程中临时启用本地模式:(很明显执行效率加快)hive.exec.mode.local.auto=tr...原创 2021-05-06 20:10:01 · 685 阅读 · 0 评论 -
Hive -案例1- 利用JsonSerDe 来解析json字符串
说明:如果数据格式是Json格式,如果按照常规的思路我们要使用自定义函数去解析, 那么在这里使用 JSonSerde就可以直接读取Json格式的文件,不需要做转化。 1、数据准备:ip6.json{"id":188,"ip":"112.168.10.129","domain":"www.baidu.com"}{"id":267,"ip":"132.158.140.119","domain":"www.baidu1.com"}{"id":3445,"ip":"112.168.10...原创 2021-05-05 17:54:42 · 352 阅读 · 0 评论 -
hive启动时 java.net.ConnectException:拒绝连接
出现错误如下:Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From master/192.168.1.101 to master:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/.原创 2021-05-05 17:06:01 · 18246 阅读 · 8 评论 -
Hive -- 系统内置函数(常用的)、窗口函数和自定义函数(重要)
目录一、系统内置函数(常用) 1、函数查看 2、日期函数 3、字符串函数 4、类型转换函数 5、数学函数 6、判断是否为空的函数一、系统内置函数(常用) 1、函数查看#显示Hive中所有函数show functions;# 查看某个函数的用法desc function array; 2、日期函数#时间戳转日期select from_unixtime(1505456567);select from_u...原创 2021-05-05 10:53:39 · 553 阅读 · 0 评论 -
Hive -- 读时模式与写时模式
hive读时模式: 其实在hive中,hive处理的数据时大数据,数据加载过程采用“读时模式”,加载数据时(也就是保存表中数据)不进行校验,读取数据时会校验,如果不符合数据的格式,则会设置为NULL。传统的关系型数据库的写时模式: 其实传统的关系型数据库在进行数据加载时,必须验证数据格式是否符合表字段定义,如果不符合,数据将无法插入至数据库表中。--- 这就是 写时模式。...原创 2021-04-30 11:43:03 · 638 阅读 · 0 评论 -
IDEA中项目的两种打包方式
1、直接利用maven自带的打包工具打包最右侧maven按钮-->项目名-->lifestyle--> package然后就成功在左侧项目中的target中找到了,图示如下:2、利用IDEA的手段打包file --> project structure --> artifacts -> 点击 + --> JAR --> from module with dependencies --> main class (选择要打包的类..原创 2021-04-30 11:05:28 · 5386 阅读 · 0 评论 -
Hive --- 复杂的数据类型、列转行和行转列
一、复杂的数据类型都有哪些呢? hive中复杂数据类型分为三种,分别是 数组array、键值对map和结构体structarray : col array<基本类型> ,下标从0开始,越界不报错,以NULL代替map : column map<string,string>struct: col struct二、数组array的基本操作 1、创建一个表create table if not exists arr1(name strin...原创 2021-04-29 22:15:45 · 1057 阅读 · 0 评论 -
Hive导入数据到分区中时报错:Failed with exception MetaException(message:Expecting a partition with name sex=男,
错误如下:Loading data to table mr.stu partition (sex=null)Failed with exception MetaException(message:Expecting a partition with name sex=男, but metastore is returning a partition with name sex=?.)FAILED: Execution Error, return code 1 from org.apache.ha.原创 2021-04-29 11:09:48 · 936 阅读 · 0 评论 -
HQL的执行顺序(这是重点)
在hive中,HQL语句的执行顺序如下1.from----> where---->group by ----> having---->select ---->order by其中select和from是必须要有的的,其他关键词是可根据需要来选择的,这六个关键词与sql语句的书写顺序并不是一样的。下面是详解:group by:将where过滤后的数据分组having:对上面已经分组的数据进行过滤的条件select:查看结果集中的哪个列,或列的计算结果order by.原创 2021-04-28 22:23:37 · 837 阅读 · 1 评论 -
Hive中insert into 和 insert overwrite的区别
经过一段时间,发现已经分不清insert into 和 insert overwrite 的主要区别点是什么了,故此总结一下,以便随时查阅,也希望对大家有所帮助,与大家共同进步!共同点: insert into 和 insert overwrite 都是往表中插入数据的区别1:insert into :其实是将数据追加到表的末尾,注意 可不是覆盖 是追加 insert overwrite : 其实是将重写表中的内容,即将原来的hive表中的数据删除掉,在进行插入数据操作提示: 如果h..原创 2021-04-28 20:07:29 · 16284 阅读 · 1 评论 -
总结18 -- linux上如何进行Hive的安装部署
一、Hive的安装部署Hive安装的注意点:Hive会自动检测Hadoop的环境变脸,如有就必须启动Hadoop1、从本地上传Hive到到linux中一般是将Hive安装包上传到/usr/local下,--- 我一直放到此路径下2、解压hive安装包[root@master~]# tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local3、修改Hive安装的路径名方便以后使用 -- 类似于jdk安装[root@mas.原创 2021-04-27 20:06:36 · 707 阅读 · 0 评论 -
Could not open client transport with JDBC Uri: jdbc:hive2://192.168.1.101:10000/mr: java.net.Connect
今天我利用DBeaver工具连接linux中的hive,出现以下错误:Could not open client transport with JDBC Uri: jdbc:hive2://192.168.1.101:10000/mr: java.net.ConnectException: Connection refused: connect java.net.ConnectException: Connection refused: connect java.net.ConnectExce..原创 2021-04-27 08:33:56 · 13042 阅读 · 1 评论 -
错误1 -- Error: Duplicate key name ‘PCS_STATS_IDX‘ (state=42000,code=1061)
当我们输入./schematool -initSchema -dbType mysql的时候,会出现以下错误:Metastore connection URL: jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=trueMetastore Connection Driver : com.mysql.jdbc.DriverMetastore connection User: rootStarting ...原创 2021-04-26 20:12:38 · 580 阅读 · 0 评论