大数据之Hive
基于Hadoop的数据仓库工具
念达
沸腾的时光怎能被荒芜
展开
-
10)Hive (调优)
Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台;在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本...原创 2019-10-25 14:58:51 · 252 阅读 · 0 评论 -
9)Hive(压缩和存储)
Hadoop源码编译支持Snappy压缩资源准备CentOS联网:配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的注意:采用root角色编译,减少文件夹权限出现问题jar包准备(hadoop源码、JDK8 、maven、protobuf)hadoop-2.7.2-src.tar.gzjdk-8u144-linux-x64.tar.gz...原创 2019-10-16 22:00:49 · 210 阅读 · 0 评论 -
8)Hive(函数二)
系统内置函数查看系统自带的函数:show functions;显示自带的函数的用法:desc functions upper;详细显示自带的函数的用法:desc function extended upper;自定义函数Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展当Hive提供的内置函数无法满足业务处理需要...原创 2019-10-16 21:17:07 · 168 阅读 · 0 评论 -
7)Hive(函数一)
查询相关函数空字段赋值 (NVL)函数说明:给值为null的数据赋值,语法为nvl(str,replace_with),它的功能是如果string1为NULL,则NVL函数返回replace_with的值,否则返回string1的值,如果两个参数都为NULL ,则返回NULL;例:如果员工的comm为NULL,则用-1代替:select nvl(comm,-1) from emp;...原创 2019-10-16 20:09:10 · 131 阅读 · 0 评论 -
6)Hive(DQL:数据查询语言)
基本查询全表和特定列查询select * from emp;select id, name from stu;列别名select dept_name as name, deptno dn from emp;算术运算符运算符描述常用函数Limit语句Where语句分组...原创 2019-10-15 21:18:07 · 190 阅读 · 0 评论 -
5)Hive(DML:数据操作语言)
数据导入向表中装载数据(load):语法:load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student partition(month=2019);①load data:表示加载数据;②local:表示从本地加载数据,否则从hdfs上加载数据到hive表;③inpath...原创 2019-10-15 10:00:48 · 145 阅读 · 0 评论 -
4)Hive(DDL:数据定义语言)
创建数据库创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.dbcreate database if not exists db_hive;创建一个数据库,指定数据库在HDFS上存放的位置create database if not exists db_hive2 location '/test/db_hive.db'查询数据库过滤显...原创 2019-10-14 22:58:54 · 162 阅读 · 0 评论 -
1)Hive(入门)
Hive基本介绍:由Facebook开源用于解决海量结构化日志的数据统计 。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据映射成一张表,并提供类SQL查询功能。①Hive处理后的数据存储在HDFS上②Hive分析数据的底层是MapReduce③执行程序在Yarn上Hive的优缺点:优点:操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)...原创 2019-10-03 11:17:43 · 144 阅读 · 0 评论 -
2)Hive(安装配置)
Hive安装相关地址Hive官网地址(http://hive.apache.org/)文档查看地址(https://cwiki.apache.org/confluence/display/Hive/GettingStarted)原创 2019-10-03 13:47:43 · 378 阅读 · 0 评论 -
3)Hive(数据类型)
Hive数据类型基本数据类型:Hive数据类型Java数据类型长度例子tinyintbyte1byte有符号整数3smalintshort2byte有符号整数3intint4byte有符号整数3bigintlong8byte有符号整数3booleanboolean布尔类型,true或者falsetruefl...原创 2019-10-14 20:48:42 · 173 阅读 · 0 评论