Hive学习笔记
文章平均质量分 55
记录Hive学习笔记
四川码匠
此生之路,我将走过;走过这一次,便再也无法重来。所有力所能及的善行,所有充盈于心的善意,我将毫不吝惜,即刻倾于。我将不再拖延,再不淡漠,只因此生之路,再也无法重来。
展开
-
大数据基础知识学习-----Hive学习笔记(一)概述
Hive基本概念Hive概述Hive:由Facebook开源用于解决海量结构化日志的数据统计Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能本质是:将HQL转化成MapReduce程序 Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在YARN上Hive的优缺点优...原创 2018-06-08 17:35:54 · 696 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(二)Hive安装环境准备
Hive安装环境准备Hive安装地址Hive官网地址:http://hive.apache.org/文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted下载地址:http://archive.apache.org/dist/hive/github地址:https://github.com...原创 2018-06-09 17:17:31 · 665 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(二)Hive安装环境准备
Hive安装环境准备Hive安装地址Hive官网地址:http://hive.apache.org/文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted下载地址:http://archive.apache.org/dist/hive/github地址:https://github.com...原创 2018-06-09 17:20:15 · 539 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(三)Hive数据类型
Hive数据类型基本数据类型 Hiv基本数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20...原创 2018-06-09 19:20:07 · 275 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(四)DDL数据定义数据库基本操作
DDL数据定义创建数据库创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db hive (default)> create database db_hive;避免要创建的数据库已经存在错误,增加if not exists判断。(标准写法) hive (default)> create database if not e...原创 2018-06-10 17:00:04 · 269 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(五)DDL数据定义创建表操作
创建表创建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...原创 2018-06-10 17:00:55 · 242 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(六)DDL数据定义普通表和外部表
管理表默认创建的表都是所谓的管理表,有时也被称为内部表。因为这种表,Hive会(或多或少地)控制着数据的生命周期。Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如,/user/hive/warehouse)所定义的目录的子目录下。当我们删除一个管理表时,Hive也会删除这个表中数据。管理表不适合和其他工具共享数据。普通创建表...原创 2018-06-10 17:01:35 · 331 阅读 · 1 评论 -
大数据基础知识学习-----Hive学习笔记(七)DDL数据定义外部表实例
外部表实例分别创建部门和员工外部表,并向表中导入数据。原始数据dep.txt10 ACCOUNTING 170020 RESEARCH 180030 SALES 190040 OPERATIONS 1700emp.txt7369 SMITH CLERK 7902 1980-12-17 800.00 207...原创 2018-06-10 17:02:24 · 259 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(八)DDL数据定义分区表操作
分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。分区的基本操作引入分区表(需要根据日期对日志进行管理)/user/hive/warehouse/log_parti...原创 2018-06-10 17:03:03 · 221 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(九)DDL数据定义分区表注意事项
分区表注意事项创建二级分区表hive (default)> create table dept_partition2( deptno int, dname string, loc string ) partitioned by (month string, day string) ...原创 2018-06-10 17:03:47 · 198 阅读 · 0 评论 -
大数据基础知识学习-----Hive学习笔记(十)DDL数据定义修改表
修改表重命名表ALTER TABLE table_name RENAME TO new_table_namehive (default)> alter table dept_partition2 rename to dept_partition3;增加/修改/替换列信息更新列ALTER TABLE table_name CHANGE [COLUMN] ...原创 2018-06-10 17:04:23 · 164 阅读 · 0 评论