![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Khalil Fang@1010
这个作者很懒,什么都没留下…
展开
-
关于sqoop把数据从hive导出到 mysql报错:Job job_1606700530042_12034 failed with state FAILED due to: Task failed
从azkaban中提示出的错误信息,可以知道整个任务的失败,是由于这个地方从日志信息中,看不出来什么东西,所以要定位到hadoop的yarn中调度的这个任务点击查看历史信息中的 logs 中的 full log,仔细查看后发现: mysql 中这个字段值类型设置了 不能为 Null, 而数据中有部分数据是 null,所以导致了失败。修改值类型之后,再次运行 Sqoop 的任务执行成功了。...原创 2021-03-06 10:48:34 · 621 阅读 · 0 评论 -
Hive SQL练习一
准备数据本次实战要准备两个表:学生表和住址表,字段都很简单,如下图所示,学生表有个住址ID字段,是住址表里的记录的唯一ID:先创建住址表:create table address(addressid int,province string,city string)row format delimitedfields terminated by ',';创建 address.txt文件,内容如下:1,guangdong,guangzhou2,guangdong,shenzhen3原创 2020-11-27 10:40:44 · 227 阅读 · 0 评论 -
Hive 内部表和外部表
针对于Hive 的 建库建表操作建库 内部表(也叫管理表和临时表) 外部表 表的操作 建库创建名为 test 的数据库(仅当不存在是才创建),添加备注信息 test database: create database if not exists testcomment 'this is a database for test'; 查看数据库列表(名称模糊匹配): show databases like 't*';OKtesttest001Tim...原创 2020-11-27 09:10:43 · 271 阅读 · 0 评论 -
Hive 复杂数据类型
复杂数据类型一共有四种:ARRAY:数组 MAP:键值对 STRUCT:命名字段集合 UNION:从几种数据类型中指明选择一种,UNION的值必须于这些数据类型之一完全匹配; ARRAY创建名为 t2的表,只有 person 和 friends 两个字段, person 是字符串类型, friends 是数组类型,通过文本文件导入数据时,person 和 friends之间的分隔符是竖线,friends 内部的多个元素之间的分隔符是逗号, 注意分隔符的语法: create t..原创 2020-11-27 09:09:16 · 2399 阅读 · 0 评论 -
Hive 基本数据类型
Hive支持基本和复杂数据类型:基本数据类型:数值型、布尔型、字符串类型和时间戳类型; 复杂数据类型:数组、映射、结构;基本数据类型:类型 实例 TIMESTAMP ‘2020-11-20 00:00:00’ DATE ‘2020-11-20’ 关于三种字符串STRING,变长,无需最大长度声明,理论上能存储 2GB字符; VARCHAR,变长,需要声明最大长度(1~65535之间),例如 VARCHAR(100); CHAR,定长,如CHAR(..原创 2020-11-27 09:08:01 · 989 阅读 · 0 评论 -
hive中with..as与 inser... select 连用
with...as...也叫做子查询部分,语句允许 hive 定义一个sql片段,供整个sql使用简介with…as… 需要定义一个sql片段,会将这个片段产生的结果集保存在内存中,h后续的sql均可以访问这个结果集,它的作用与视图或临时表类似。语法限制1.with…as…必须和其他sql一起使用(可以定义一个with但在后续语句中不使用他)2.with…as…是一次性的with…as…的完整格式是这样的--with table_name as(子查询语句) 其他sqlwith temp转载 2020-10-26 10:41:14 · 1530 阅读 · 0 评论