hive
文章平均质量分 56
清风千雨
大数据,java后端
展开
-
HIVE 行转列以及列转行
列转行语法:虚拟表lateral view explode(split(tag,’,’)) 表别名 as 列别名表test列名: id tagselect id,tag_new from test lateral view explode(split(tag,',')) nums as tag_new行转列使用函数:concat_ws(’,’,collect_set(column))说明:collect_list 不去重,collect_set 去重。 column 的数据类原创 2020-06-08 17:14:19 · 437 阅读 · 0 评论 -
HIVE-优化
-》压缩 (1)开启Map阶段输出压缩 开启输出压缩功能: set hive.exec.compress.intermediate=true; 开启map输出压缩功能: set mapreduce.map.output.compress=true; 设置压缩方式: set mapreduce.map.output.comp...原创 2019-06-04 22:03:00 · 109 阅读 · 0 评论 -
Hive-配置列信息
配置查询头信息在hive-site.xml <property> <name>hive.cli.print.header </name> <value>true</value> </property> <...原创 2019-06-04 16:07:53 · 204 阅读 · 0 评论 -
Hive自定义UDF函数
UDF:一进一出(User-Defined-Function)UDAF:多进一出 (count、max、min)UDTF:一进多出自定义UDF代码public class Lower extends UDF{ //大写转换为小写 public String evaluate(final String s) { if(s == null) { return null; ...原创 2019-03-05 22:59:09 · 372 阅读 · 0 评论 -
hive分桶,排序,连接
连接1)等值连接根据员工表和部门表中部门编号相等,查询员工编号、员工名、部门名称select e.empno,e.ename,d.dept from empt e join dept d on e.deptno=d.deptno;2)左连接(左边的数据比右边大,对应找不到的数据就为Null)select e.empno,e.ename,d.dept from empt e left j...原创 2018-11-18 16:48:37 · 577 阅读 · 0 评论 -
hive的DDL,DML总结
1.DDL数据定义1)创建数据库-》查看数据库desc database mydb;-》创建数据库create database mydb;-》创建数据库的标准写法create database if not exists mydb;-》创建数据库指定所在的hdfs路径create databases mydb location ‘/hive_db’;2)修改数据库-》查看数...原创 2018-11-16 16:05:42 · 331 阅读 · 0 评论 -
HiveDDL
1.创建数据库-》查看数据库 show databases;-》创建数据库create database hive_db;-》创建数据库标准写法create database if not exists db_hive;-》创建数据库指定所在hdfs路径create database hive_db1 location '/hive_db';2.修改数据库-》查看数据库结构...原创 2018-11-11 19:08:14 · 144 阅读 · 0 评论 -
Hive的元数据库替换为Mysql
1.驱动拷贝拷贝mysqlconnectorjava5.1.27bin.jar到/root/hd/hive/lib/下2.配置Metastore到MySql-》在/root/hd/hive/conf目录下创建一个hive-site.xml-》根据官方文档配置参数,拷贝数据到hive-site.xml文件中(hive/conf/下创建文件)<?xml version="1...原创 2018-11-11 14:48:55 · 953 阅读 · 0 评论 -
hive简介与架构
hive概述Apache Hive™数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。数据计算:mapreduce分布式计算>难度大hive>SQL语句 mysql 简化开发 减少学习成本优缺点优点:(1)操作接口采用了sql,简化开发,减少学习成本(...原创 2018-11-11 10:56:00 · 146 阅读 · 0 评论 -
Hive部署
1.下载安装包http://hive.apache.org/downloads.html2.上传安装包(我用的CRT)alt+p3.解压tar -zxvf .tar -C 指定目录4.修改配置文件vi hive-env.shHADOOP_HOME=/root/hd/hadoop-2.8.4 (你HADOOP_HOME路径)export HIVE_CONF_DIR=/ro...原创 2018-11-11 10:19:18 · 465 阅读 · 0 评论