weixin_38023225的博客

问题描述通过shell脚本插入数据到hive数仓，出现中文乱码。而单独通过hive查询窗口插入中文数据不乱码原因分析Shell脚本解析Hive语句中的中文乱码，导致Hive插入中文数据乱码解决方案Shell脚本头部加上语句 export LANG=zh_CN.UTF-8再次执行，中文乱码问题解决...

问题描述从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null问题原因Sqoop在抽取数据到Hive或者HDFS时，会自动将类型为Tinyint(1)的列转为boolean类型，这就是导致抽取到Hive或HDFS中的数据中只有0和1的原因。因为默认情况下，MySQL JDBC connector 会将Tinyint(1)映射为java.s...

1.问题DBeaver连接hive仓库，表中文注释乱码创建表的时候，comment说明字段包含中文，表成功创建成功之后，desc的时候中文说明显示乱码.如下图所示:2.问题分析我们知道hive的元数据是由mysql管理的,所以这是mysql的元数据的问题.下面我们就修改一下字符编码3.解决方案修改hive数据库表字段（1）修改表字段注解和表注解alter t...

问题：用sqoop从DB导入数据到hdfs报错：Error: java.io.IOException: SQLException in nextKeyValue问题原因：Sqoop在导入MySQL数据时遇到Timestamp列为0000-00-00 00:00:00报错解决方案：在JDBC连接后加上?zeroDateTimeBehavior=convertToNull如：j...

1.错误1Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:ERROR_STATUS, infoMessages:[*org.apache.hive.service.cli.HiveSQLException:Failed to open new s...

Hive优化：本质是优化MR 1）map优化：就是优化并发个数 block大小会影响并发度 2）reduce优化：就是优化并发个数

1 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 ...

由于Hive采用了类似SQL的查询语言HQL(Hive Query Language)，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。1...

1．用户接口：Client(终端，工具类)CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）2．元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数...

1 概念Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上2 优缺点2.1 优点操作...

Hive提供了一个严格模式，可以防止用户执行那些可能意向不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。<property> <name>hive.mapred.mode&lt...

1 安装地址1.1 Hive官网地址http://hive.apache.org/1.2 文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted1.3 下载地址http://archive.apache.org/dist/hive/1.4 github地址https://github...