Hive
Rocky000000
加油,致最好的年华!!!
展开
-
hive update和delete报错Attempt to do update or delete using transaction manager
而在默认情况下,当用户如果使用update和delete操作时,会出现如下情况:hive> select * from userdb.student;OK1009 991001 zhangsan1002 lisi1003 wangwu1004 liliu1005 mengmeng1008 chengchengTime taken: 0.522 seconds, Fetched: 7 row(s)hive> delete from userdb.student where原创 2020-07-29 16:47:13 · 5457 阅读 · 0 评论 -
Hive的基本数据类型介绍
1、基本数据类型2、Struct1)描述hive中的 struct 和c语言中的struct类似,都可以通过“点”符号访问元素内容。例如,如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。2) 语法示例struct()a、创建表hive (default)> create table stu...原创 2020-04-08 16:53:44 · 1053 阅读 · 0 评论 -
Hive如何避免数据倾斜
写SQL要先了解数据本身的特点,如果有join ,group操作的话,要注意是否会有数据倾斜,如何影响避免数据倾斜问题的出现,将更大可能的减少执行所需的时间。原创 2020-03-31 15:08:54 · 1563 阅读 · 0 评论 -
hive的查询基本原则
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则:1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段select … from Ajoin Bon A.key =...原创 2020-03-26 13:55:37 · 240 阅读 · 0 评论 -
关于Centos7中安装MySQL冲突和问题解决小结
今天在CentOS7上安装MySQL其所用到的命令如下所示:[root@admin installtions]# unzip mysql-libs.zip Archive: mysql-libs.zip creating: mysql-libs/ inflating: mysql-libs/MySQL-client-5.6.24-1.el6.x86_64.rpm infla...原创 2019-10-31 16:12:50 · 794 阅读 · 0 评论 -
Hive集群的搭建
1.将上传的hive-0.13.1-cdh5.3.6.tar.gz移动到hadoop102的/usr/local目录下2.解压缩hive安装包 tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz3、配置hive相关的环境变量 vi /etc/profile export HIVE_HOME=/usr/local/hive-0.13.1-cdh5.3.6 ...原创 2019-03-02 19:28:52 · 840 阅读 · 0 评论 -
hive的多窗口测试错误检测
今天在测试hive的多窗口的启动时,竟然出现了以下的错误信息:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient ...原创 2018-11-15 11:50:39 · 421 阅读 · 3 评论 -
关于Hive的优化方法总结
问题导读:1、Hive整体架构优化点有哪些?2、如何在MR阶段进行优化?3、Hive在SQL中如何优化?4、Hive框架平台中如何优化?一、整体架构优化现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。整体架构优化点:1、根据不同业务需求进行日期分区,并执行类型动态分区。相关...转载 2018-09-29 21:09:19 · 325 阅读 · 0 评论 -
Hive的调优(二)
表的优化JoinJoin原则:1)小表Join大表,将key相对分散,并且数据量小的表放在join的左边,这样可以有效减少内存溢出错误发生的几率;再进一步,可以使用Group让小的维度表(1000条以下的记录条数)先进内存。在map端完成reduce。2)多个表关联时,最好分拆成小段,避免大sql(无法控制中间Job)3)大表Join大表(1)空KEY过滤有时join超时是因为某些...转载 2018-10-06 13:20:04 · 277 阅读 · 0 评论 -
Hive的调优(一)
Fetch抓取(Hive可以避免进行MapReduce)Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是mor...原创 2018-10-05 21:45:14 · 240 阅读 · 0 评论 -
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the
启用hive时报以下错误:Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path解决方法:[admin1@hadoop1 ~]$ cd ~/hive/conf/[admin1@hadoop1 ~]$ cp hive-env.s...原创 2018-09-06 23:13:12 · 13963 阅读 · 1 评论 -
Hadoop中hiveserver2 不能启动端口 10000 开启服务的总结
[hadoop@admin1 bin]$ ./beeline Beeline version 1.2.1 by Apache Hivebeeline> !connect jdbc:hive2://localhost:10000Connecting to jdbc:hive2://localhost:10000Enter username for jdbc:hive2://localh...原创 2018-08-19 17:54:21 · 5582 阅读 · 0 评论 -
Exception in thread “main“ java.lang.RuntimeException: java.net.ConnectException: Call From admin1/1
1:安装好hive,准备启动的时候出现下面的错误(由于hive是基于Hadoop的,所以必须先将你的集群启动起来,我就是没有启动集群,直接启动hive导致的错误):Logging initialized using configuration in jar:file:/home/hadoop/apps/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.ja...原创 2018-08-19 16:57:27 · 8982 阅读 · 1 评论