Hive
文章平均质量分 64
学习·笔记
一个专属于自己的隐秘地方,在那里我们可以远离压力与忧虑,可以放松自我
展开
-
Hive的数据压缩介绍
MR支持的压缩编码在实际工作当中,hive当中处理的数据,一般都需要经过压缩,前期我们在学习hadoop的时候,已经配置过hadoop的压缩,我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否Gzip gzipDEFAULT.gz否bzi...原创 2019-12-05 09:07:46 · 5122 阅读 · 1 评论 -
Hive自定义函数:UDF
内置函数1)查看系统自带的函数hive> show functions;2)显示自带的函数的用法hive> desc function upper;3)详细显示自带的函数的用法hive> desc function extended upper;Hive自定义函数1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方...原创 2019-12-05 08:46:38 · 5290 阅读 · 0 评论 -
HIVE查询语法
SELECT需要准备的数据:创建分区表语法create table score(s_id string,c_id string, s_score int)partitioned by (month string) row format delimitedfields terminated by ‘\t’;加载数据到分区表中load data local inpath '/export...原创 2019-12-05 08:37:12 · 5323 阅读 · 0 评论 -
hive表中的数据导出:表数据的导出7种方式
insert导出1)将查询的结果导出到本地 :第一种insert overwrite local directory '/export/servers/exporthive/a' select * from score;2)将查询的结果格式化导出到本地 :第二种insert overwrite local directory '/export/servers/exporthive' ...原创 2019-12-02 11:18:41 · 6478 阅读 · 2 评论 -
hive表中加载数据方式:表数据的导入五种方式
直接向分区表中插入数据create table score3 like score;insert into table score3 partition(month ='201807') values ('001','002','100');通过查询插入数据通过load方式加载数据load data local inpath '/export/servers/hivedatas/sc...原创 2019-12-02 11:12:09 · 5946 阅读 · 1 评论 -
HDFS调用JAVAapi
HDFS调用API创建项目pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi...原创 2019-12-02 11:07:00 · 5500 阅读 · 1 评论 -
Hive基本操作:理论知识与实际操作
创建数据库与创建数据库表创建数据库操作create database if not exists myhive;use myhive;说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/warehou...原创 2019-12-02 09:08:56 · 5590 阅读 · 1 评论 -
HIVE的使用
使用方式共三种第一种交互方式:Hive交互shellcd /export/servers/hive-1.1.0-cdh5.14.0bin/hive//在设置hive全局环境变量之后可以在任何目录使用hive查看所有的数据库hive (default)> show databases;创建数据库hive (default)> create database myh...原创 2019-12-02 08:24:56 · 4976 阅读 · 1 评论 -
Hive错误集(不定时补充)
1.Hive在安全模式下启动出现报错解决方法:等待退出安全模式, 或者直接输入命令退出安全模式:hadoop dfsadmin -safemode leave:原创 2019-11-21 08:50:31 · 5624 阅读 · 4 评论 -
Hive的安装部署
HIVE的安装部署第一步:上传hive-1.1.0-cdh5.14.0.tar.gz第二步:解压 cd /export/softwares tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ 从节点安装mysql(使用yum源进行安装,强烈推荐)第一步:在线安装mysql相关的软件包 yum install mysql...原创 2019-11-20 11:02:58 · 5698 阅读 · 4 评论 -
Hive基本概念
什么是HIVEHive是一个语句Hadoop的一个数据仓库工具,是将结构化数据文件映射成为一个数据表,并提供类SQL的查询功能。Hive可以对数据进行存储于计算数据存储依赖于HDFS数据计算依赖于MapReduceHive意义(目的)在hadoop是个好软件,但是不好使用(学习成本太高,坡度陡,难度大)的前提下降低了程序员使用hadoop的学习成本,降低了难度。Hive特点可扩展性...原创 2019-11-20 10:47:52 · 5583 阅读 · 2 评论