hive
文章平均质量分 54
lcm_linux
欲买桂花同载酒,终不似,少年游。
展开
-
hive准备测试数据
1、数据准备:#创建测试hive数据库create database hive_test; #创建hive数据表,指定一个分区CREATE TABLE testa ( id INT, name string, area string ) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;2、准备数据,复制数原创 2020-08-16 17:37:07 · 1794 阅读 · 0 评论 -
Hive常用命令
quit和exit命令[root@bd2 bin]# hiveWARNING: Use "yarn jar" to launch YARN applications.hive> quit;[root@bd2 bin]# hiveWARNING: Use "yarn jar" to launch YARN applications.hive> exit;reset命令重...转载 2020-01-17 11:12:37 · 329 阅读 · 0 评论 -
hive参数优化-----亲测有效
hive查询的时候,导致服务器负载过高,load值飙升,服务器CPU是8个,按理说load不超过8,都应算ok的,但是,hive在部署完后没有调参,导致在执行过程中,load值达到了7.8以上,服务器连接出现问题,因此想到了调参,现在整理如下:本次查询所用测试语句为:select util_lnadw21ifj1579078492403.e2467e8ab37945a3869c6d309......原创 2020-01-15 18:27:21 · 3244 阅读 · 0 评论 -
记一次hive加载文件报错:return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
hive加载时:第一次成功了,第二次就失败了,报错如下:ERROR [HiveServer2-Background-Pool: Thread-11607]: ql.Driver (SessionState.java:printError(960)) - FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.ex...原创 2020-01-07 11:14:43 · 4658 阅读 · 0 评论 -
基于CentOS7下的Kerberos集成Hadoop和Hive
目的:新项目针对Hadoop集群以及Hive使用Kerberos做认证处理版本:Hadoop 2.7.2Hive 1.2.1Kerberos介绍Kerberos 是一种网络认证协议,其设计目标是通过密钥系统为 客户机 / 服务器 应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证,无需基于主机地址的信任,不要求网络上所有主机的物理安全,并假定网络上传送的数据包可...原创 2020-01-06 15:32:27 · 1770 阅读 · 0 评论 -
记一次hive查询语句报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive版本:1.2.1执行过程:登录hive,执行查询语句:hive> use test01 > ;OKTime taken: 0.894 secondshive> select * from employee a left join employee b on a.eud=b.eud;之后报错信息如下:登录提示URL查看详情:看样子问题...原创 2020-01-04 17:14:05 · 1938 阅读 · 0 评论 -
CentOS7 手动部署Hive1.2.1
目的:新项目需求,Hadoop集群+HIVE版本:hadoop:2.7.2hive:1.2.1原创 2020-01-03 11:03:38 · 203 阅读 · 0 评论