a904364908的博客

Tez 简介Tez 是一个 Hive 的运行引擎，性能优于 MR。为什么优于 MR 呢？看下图。用 Hive 直接编写 MR 程序，假设有四个有依赖关系的 MR 作业，上图中，绿色是 Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到 HDFS。Tez 可以将多个有依赖的作业转换为一个作业，这样只需写一次 HDFS，且中间节点较少，从而大大提升作业的计算性能。使用版本Hive: 2.3.1.hadoop: 2.7.6.Tez: 0.9.1.Java: 1.8前期准备..

环境:sqoop版本:1.4.7.hadoop2.7.6.hive2.3.1.导入参数:bin/sqoop import --connect jdbc:mysql://192.168.0.55:3306/test?tinyInt1isBit=false --username root --password '123456' --table test_table --fields-terminated-by '\001' --hive-import --hive-table ods.test_tab

字符串长度计算函数：length语法: length(string A)，返回值: int说明：返回字符串A的长度hive (default)> select length('aaa');3字符串反转函数：reverse语法: reverse(string A)返回值: string说明：返回字符串A的反转结果hive (default)> select reve...

在一次hive语句进行行转列操作的时候,几千万的数据量发生了omm, GC overhead limit exceeded. 去网上查找了一下,判断是自己给map端和reduce端的内存太小了,才导致的omm,所以增加map端和reduce端的内存就好了.直接在客户端设置一下.hive> set mapreduce.map.memory.mb=2048;hive> set map...

安装好spark,安装hive,安装的spark版本是2.1.3版本,hive版本是1.1.0安装好hive后,启动,发现一个报错,cannot access /export/spark/lib/spark-assembly-*.jar: No such file or directory. 看了一下,出现这个问题的原因是因为spark版本升级到2.x以后,原有lib目录下的大JAR包...

最近在操作hive,在进入hive后,在show databases;的时候报了异常,如图在网上百度了之后,发现应该是hive元数据库的编码问题.按如下办法得到解决1.删除原hive连接MySQL数据库中存放hive元数据的数据库。drop database hive;2.新建存放元数据库的数据。create database hive;3.修改数据的编码为lat...

最近在进行用sqoop将业务表数据导入到hive,在导入的时候发现一直在报一个WARN,WARN TableDefWriter:Column height had to be cast to a less precise type in Hive. 具体日志贴图.看到报警以后,查看了hive表的数据,发现数据并没有丢失,又查看了hive表结构,发现很多字段的数据类型发生了改变.在进行表导入的时候...

sqoop导入数据到hive查询全部为null.最近在用sqoop导入数据到hive的时候,遇到一个问题.用sqoop将数据导入到hive后,在hive查询,发现数据全部为null.而用sqoop导入命令的时候,没有报错,提示成功bin/sqoop import --connect jdbc:mysql://xxxxxxxxxxxxx:3306/xxxxxx --username xx...