DB-大数据-Hive
DB-大数据-Hive
编程圈子
编程圈子,谢厂节的博客
展开
-
Hive 基础知识
Hive 操作学习实际开发中,80%的操作都不会由MapReduce程序直接完成,而是由Hive来完成。Hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类sql查询功能,本质是把sql转换为map-reduce。Hive基本组成用户接口:CLI(命令地),JDBC/ODBC,WEBGUI(网页访问Hive)元数据存储,通常是存储在关系数据库如mysq原创 2016-03-15 15:22:58 · 1458 阅读 · 0 评论 -
Hive 安装配置、HWI
安装Hive环境: CentOS7已安装Hadoop-2.7.3.tar每个节点都需要安装Hive,这里统一安装在/usr/local/wget https://mirrors.cnnic.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz --no-check-certificatetar -zxvf apache-hive-2.原创 2016-03-15 16:16:05 · 1016 阅读 · 0 评论 -
Hive 数据类型和存储格式、建表操作
本文部分内容来源《Hadoop海量数据处理 技术详解与项目实战》一、 基本数据类型 数据类型 所占字节 开始支持版本 TINYINT 1byte,-128 ~ 127 SMALLINT 2byte,-32,768 ~ 32,767 INT 4byte,-2,147,483,648 ~ 2,147,483,647 BIGINT 8byte,-原创 2017-05-08 13:15:12 · 9943 阅读 · 0 评论 -
Hive 运算符与函数操作
一、 Hive运算符1. 关系运算符常见的= <> < > <= >=空值判断 IS NULL非空判断 IS NOT NULLLIKE LIKEJAVA的LIKE操作 RLIKEREGEXP操作 REGEXP示例:hive> select 1 from dual where 1=1;2. 逻辑运算符+ - * / %& 位与 | 位或 ^ 位异或 ~ 位取反原创 2017-05-08 13:16:06 · 4021 阅读 · 0 评论 -
Hive HQL数据操作、数据查询
一、HQL 数据操作1.装载数据LOAD DATA INPATH '/user/hadoop/o' INTO TABLE test;如果test表是一个分区表,则在HQL中指定区分:LOAD DATA INPATH '/USER/HADOOP/O' OVERWRITE INTO TABLE test3 PARTITION(part="a");从本地直接加载数据表表中LOAD DATA LOCAL I原创 2017-05-08 14:21:05 · 4849 阅读 · 0 评论 -
Hive 客户端工具
一、SQuirrel SQL Client可以连接Hive,SparkThriftServer网址http://squirrel-sql.sourceforge.net/安装启动安装程序 启动程序 建立一个Hive连接 问题处理 User: root is not allowed to impersonate hive <property> <name>hive原创 2017-05-17 09:52:49 · 8662 阅读 · 1 评论 -
Hive JDBC Java示例项目
一、搭建Hive JDBC开发环境首先要启动hive监听程序hive --service hiveserver &默认端口10000创建Maven工程项目结构: 新建TestHiveJdbc工程创建pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem原创 2017-05-19 08:12:42 · 3840 阅读 · 1 评论