Hive学习笔记
关注
分享
扫一扫
Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。
由 Facebook 开源用于解决海量结构化日志的数据统计。
yljphp
码农
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive DML 数据操作
数据导入 向表中装载数据（Load） 语法 load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)] 参数 说明 load data 加载数据 local 从本地加载数据到hive表；否则从HDFS...原创 2019-05-14 13:11:02 · 26050 阅读 · 0 评论 -
Hive 常用交互命令
基本命令 [root@hadoop101 ~]# hive -h Unrecognized option: -h usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A...原创 2019-05-14 11:30:52 · 25190 阅读 · 0 评论 -
Hive JDBC访问
启动 hiveserver2 服务 hiveserver2 启动 beeline beeline [root@hadoop101 ~]# beeline Beeline version 1.2.1 by Apache Hive beeline> 连接 hiveserver2 !connect jdbc:hive2://hadoop101:10000 beeline> !con...原创 2019-05-14 11:17:08 · 25557 阅读 · 0 评论 -
Hive partition 分区表
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 需求 需要根据日志产生的日期对日志进行管理。 数据准备 [root@hadoop102 stu_part]# pwd /opt/module/...原创 2019-05-01 08:21:38 · 29341 阅读 · 0 评论 -
Hive DDL 数据定义语言
数据库 创建一个数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; hive (default)> cr...原创 2019-04-30 22:19:54 · 22729 阅读 · 0 评论 -
Hive 配置
我使用的hive版本是1.2.1，以下是默认的配置文件。 hive-env.sh 重命名hive-env.sh.template为hive-env.sh，修改如下信息： # Set HADOOP_HOME to point to a specific hadoop install directory # 设置Hadoop安装目录 export HADOOP_HOME=/opt/module/ha...原创 2019-04-30 15:03:00 · 25696 阅读 · 0 评论 -
Hive 数据类型 与 案例实操
基本数据类型 Hive数据类型 Java数据类型 长度 示例 TINYINT byte 1byte 有符号整数 20 SMALLINT short 2byte 有符号整数 20 INT int 4byte 有符号整数 20 BIGINT long 8byte 有符号整数 20 BOOLEAN boolean 布尔类型，true或false TRUE FLOAT ...原创 2019-04-29 11:36:52 · 25141 阅读 · 0 评论 -
Hive metastore（元数据）配置到 MySql
驱动拷贝 解压驱动包 在/opt/software/mysql-libs 目录下解压 mysql-connector-java-5.1.27.tar.gz 驱动包 [root@hadoop101 mysql-libs]# ll 总用量 76048 -rwxr--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_6...原创 2019-04-28 17:00:21 · 27243 阅读 · 1 评论 -
Hive 安装部署
本次用的是伪集群模式，只用了一台hadoop101。公司电脑配置有点低，伤不起。 本次使用的hive版本1.2.1，下载地址：http://archive.apache.org/dist/hive/ 安装及配置 上传并解压安装包 把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-1.2.1-bi...原创 2019-04-28 15:23:40 · 25053 阅读 · 0 评论