hive
流浮影
这个作者很懒,什么都没留下…
展开
-
Hive2
Hive2.3.6安装TEZ0.9.0前提环境hadoop 我的是2.7.1hive 我的是2.3.6Tez环境准备下载Tez的安装包解压 下载路径解压tez的jar包(我的是0.9.0)进去Tez安装目录下的conf目录[root@hadoop001 conf]# vi tez-site.xml<?xml version="1.0" encoding="UTF-...原创 2019-09-20 14:25:20 · 220 阅读 · 0 评论 -
hive的补充
hive的补充hive的分隔符hive默认的列与列之间的分隔符是:\001,注意不是tab通常分隔符:tab," "|\n\001 ^A (\u0001,注意不是\0001也不是\01)\002 ^B\003 ^Cposeexplode:hive的文件存储格式:hive默认的数据文件存储格式为:textfiletextfile:普通的文本文件存储,不压缩。占用空间,...原创 2019-09-21 14:39:41 · 254 阅读 · 0 评论 -
hive的数据倾斜
hive的数据倾斜数据倾斜:由于key分布不均匀造成的数据向一个方向偏离的现象本身数据就倾斜:join语句容易造成count(distinct col)很容易造成倾斜group by 也可能造成注意hive的倾斜join key在reduce端的分配不均匀倾斜现象:卡在某一个reduce任务。解决方法:1.找到造成倾斜的key,然后再通过hql语句避免(查看日志是哪个tas...原创 2019-09-21 14:36:16 · 134 阅读 · 0 评论 -
hive调优
hive调优1、环境方面:服务器的配置、容器的配置、环境搭建2、具体软件配置参数:3、代码级别的优化:执行计划explain 和 explain extended :explain select * from text1;explain extended select * from text1;explain extendedselectd.deptno as deptno...原创 2019-09-21 14:19:01 · 183 阅读 · 0 评论 -
从mysql的存储过程到hive的存储过程
mysql的存储过程在mysql中的声明字段:使用关键字:declare普通类型申明格式如下:Decalare 字段名 字段类型(位数) [default 默认值];如:declare name varchar(45) default ‘’;在mysql中的赋值:使用关键字:set如: Set i =100;在mysql中判断常用的是if...end if 、if...e...原创 2019-09-20 17:06:02 · 774 阅读 · 0 评论 -
hive基础语法三
hive基础语法三from --map阶段join --map(有map端join)或者reduce(reduce join)onwhere --map端group by --reduce阶段having --reduce端select --reduce端(或者map端)order by --reduce端limit --reduce端(或者map端)基础数据类型...原创 2019-09-20 16:43:41 · 466 阅读 · 0 评论 -
hive基础语法二
hive语句二分区表概念分区意义:避免全表扫描,从而提高查询效率;默认使用全表扫描。使用什么样的分区:日期、区域、能将数据分散开来分区技术:[PARTITIONED BY (COLUMNNAME COLUMNTYPE [COMMENT 'COLUMN COMMENT'],...)]1.hive的分区名区分大小写2.hive的分区字段是一个伪字段,但是可以用来进行操作3.一个表可...原创 2019-09-20 16:37:50 · 1149 阅读 · 0 评论 -
hive基础语法一
hive基础语法一set $属性(变量);with tmp as();select from( select a.id id, a.name name from test left join test1 b on .... join ... where group by having order b...原创 2019-09-20 16:32:11 · 252 阅读 · 0 评论 -
Hive的安装部署
Hive的安装部署hive1.2.1Hive常用的安装分三种(注意:Hive会自动监测Hadoop的环境变量,如有就必须启动Hadoop)本地模式(多用户模式):使用hive自带默认元数据库derby来进行存储,通常用于测试优点:使用简单,不用进行配置缺点:只支持单session。安装步骤:1、解压hive,并配置环境变量vi /etc/profilesource /etc/...原创 2019-09-20 16:26:39 · 119 阅读 · 0 评论 -
浅谈hive
浅谈hivehive2.5.1 Hive是什么###2.5.1.1 为什么有HiveHive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。数据量大,处理的效率比较低mapreduce学习成本比较高类sql的用法,工作效率高入门比较简单2.5.1.2 Hive是什么hive是一个数据仓库。hive是一个基于hadoop的数据仓库...原创 2019-09-20 16:22:49 · 208 阅读 · 0 评论 -
sqoop导入的一些问题
sqoop导入的一些问题以下为sqoop语句有问题,一定注意语句后的 \ 。 \前要空格,\后不要空格--null-non-string 0 \--null-string '123' \原数据如果为null的话,会被替换‘成 ’的内容版本1.4.7这种模式使用lastmodifyed 可以使用merge-key覆盖。(路径为hive表路径)因为1.4.7不支持lastmod...原创 2019-09-21 17:05:33 · 202 阅读 · 0 评论