![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
leezsj
这个作者很懒,什么都没留下…
展开
-
hdfs数据传到mysql报错
ERROR mapreduce.ExportJobBase: Export job failed!21/07/19 22:23:21 ERROR tool.ExportTool: Error during export:Export job failed!先重新导入数据sqoop import --connect jdbc:mysql://qianfeng01:3306/leetom \--username root --password 123456 \--query 'select em原创 2021-07-19 22:40:55 · 364 阅读 · 0 评论 -
sqoop mysql-->hive报错
ERROR tool.BaseSqoopTool: Error parsing arguments for import:21/07/19 16:13:56 ERROR tool.BaseSqoopTool: Unrecognized argument: --hive-imp要把ip从localhost改成ip或者IP映射的主机名原创 2021-07-19 16:17:19 · 837 阅读 · 0 评论 -
sqoop 从mysql转到hive报错
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.21/07/19 14:55:45 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.con.原创 2021-07-19 15:13:02 · 83 阅读 · 0 评论 -
启动hive服务报错
hive-site.xml:17:78: The reference to entity "useSSL" must end with the ';' delimiter.21/07/19 14:30:18 FATAL conf.Configuration: error parsing conf file:/usr/local/hive/conf/hive-site.xmlorg.xml.sax.SAXParseException; systemId: file:/usr/local/hive/conf原创 2021-07-19 14:44:05 · 600 阅读 · 0 评论 -
hive --service metastore &报错
Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.jps查看有几个runjar全部杀死kill -9 进程号启动成功hive --service metastore &原创 2021-07-19 14:40:52 · 814 阅读 · 0 评论 -
hive执行sql报错
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient有可能是hive服务没有启动hive --service metastore &...原创 2021-07-19 08:32:06 · 421 阅读 · 0 评论 -
hive初始化元数据报错
Error: Duplicate key name 'PCS_STATS_IDX' (state=42000,code=1061)org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!Underlying cause: java.io.IOException : Schema script failed, error原创 2021-07-19 08:22:29 · 530 阅读 · 0 评论 -
hiveserver2报错
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hive.common.util.HiveStringUtils.startupShutd ownMessage(Ljava/lang/Class;[Ljava/lang/String;Lorg/apache/commons/logging/Log;)Vjar包冲突,可能是在hive的lib中添加了其他的jar包,导致系统找jar包时...原创 2021-07-14 11:15:22 · 350 阅读 · 0 评论 -
hive-3
⼆级分区⼆级分区指的是在⼀张表中有两个分区,创建和插⼊时都要指定两个分区名,最常⻅的就是下⾯案例的年和⽉,创建的语法和流程都是和⼀级分区⼀样,只是多⼀个分区⽽已.create table if not exists part2(id int,name string)partitioned by (year string,month string)row format delimited fields terminated by ',';load data local inpath原创 2021-07-13 19:09:03 · 544 阅读 · 1 评论 -
udtf自定义函数
package hive;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspec.原创 2021-07-12 21:29:08 · 246 阅读 · 1 评论 -
udaf自定义函数
package hive;import org.apache.hadoop.hive.ql.exec.Description;import org.apache.hadoop.hive.ql.exec.UDAF;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.io.IntWritable;//注解方法的描述@Description(value = "findmax(col)",name .原创 2021-07-12 21:27:23 · 172 阅读 · 0 评论 -
hive自定义类
配置xml<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.3.7</version> </dependency>在java中写代码package hive;.原创 2021-07-12 12:19:20 · 85 阅读 · 0 评论 -
hive-2
数据库基本操作-库、表规则语法注释语法:-- 单⾏注释// 单⾏注释/* * 多⾏注释*/⼤⼩写规则:1. Hive的数据库名、表名都不区分⼤⼩写2. 建议关键字⼤写命名规则:1. 名字不能使⽤数字开头2. 不能使⽤关键字3. 尽量不使⽤特殊符号4. 如果表⽐较多,那么表名和字段名可以定义规则加上前缀.快速创建库和表:-- hive有⼀个默认的数据库default,如果不明确的说明要使⽤哪个库,则使⽤默认数据库。hive> create datab原创 2021-07-09 22:10:45 · 210 阅读 · 2 评论 -
进入hive时卡住
Logging initialized using configuration in jar:file:/opt/soft/hive-2.3.7/lib/hive-common-2.3.7.jar!/hive-log4j2.properties Async: trueOperation category READ is not supported in state standby启动顺序有问题,环境:zookeeper高可用,yarn高可用先开zookeeperzkServer.sh原创 2021-07-07 08:36:59 · 2301 阅读 · 0 评论 -
hive-1
Hive出现原因Hive最早来源于FaceBook ,因为FaceBook⽹站每天产⽣海量的结构化⽇志数据,为 了对这些数据进⾏管理,并且因为机器学习的需求,产⽣了Hive这⻔技术,并继续发 展成为⼀个成功的Apache项⽬。定义Hive是⼀个基于 Hadoop 的数据仓库⼯具,可以将结构化的数据⽂件映射成⼀张数据 表,并可以使⽤类似SQL的⽅式来对数据⽂件进⾏读写以及管理。这套Hive SQL 简 称HQL。Hive的执⾏引擎可以是MR、Spark、Tez。本质Hive的本质是将H原创 2021-07-06 23:18:56 · 110 阅读 · 1 评论