Hive
关注
分享
扫一扫
Hive
睡覺了
我现在能做的，便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
-
Hive_知识点
Hive 组成元数据：描述数据的数据 内部执行流程 ： 编译器（把SQL语句编译成MapReduce程序） 解析器（解析器SQL语句） 优化器（优化MapRedue程序） 执行器（将MapReduce程序运行的结果提交到HDFS） 处理引擎 MR：MapReduceHive 与 Mysql 的区别除了语法接近 ，其他都不一样 数据量 ： 数据量越大 Hive 优势大 ，数据量小，mysql 速度：数据量越大 Hive越快，数据量小 mysql 越快 查询：Hive...原创 2020-10-23 15:42:53 · 455 阅读 · 0 评论 -
Hive_表优化
表优化案例二三设置多个 reducer生产中 reducer 有 很多个 ，所以会产生数据倾斜 ，那么我们随机分布空 值 ，按什么呢 ，对比 ，解决数据倾斜...原创 2020-10-22 15:58:52 · 427 阅读 · 0 评论 -
Hive_DML_数据操作
数据导入覆盖通过查询语句 插入数据多插入模式 ： 将 from 那张表 单独 提出 查询多个结果 可以用union select a union select b根据查询结果创建表创建表 通过 location 指定加载数据路径数据导出...原创 2020-10-22 15:37:47 · 248 阅读 · 0 评论 -
Hive_DDL
创建数据库切换与修改数据库扩展看 详细信息 desc 和 描述desc database extended table_name;描述desc formatted table_name;删除数据库创建表[ ] 中括号 表示 可选项 comment 添加注释 partitioned by 分区 clo_name 列名 clustered by 分桶 stored as f...原创 2020-10-22 15:07:19 · 156 阅读 · 0 评论 -
Review Hive 知识点
>## 什么是Hive?>>Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。>>## Hive的意义（最初研发的原因）?...原创 2020-04-11 08:29:10 · 9397 阅读 · 3 评论 -
Review HiveSQL笔试
如下的用户访问数据userId visitDate visitCountu01 2017/1/21 5u02 2017/1/23 6u03 2017/1/22 8u04 2017/1/20 3u01 2017/1/23 6u01 2017/2/21 8U02 2017/1/23 6U01 2017/2/22 4要求使...原创 2020-04-11 08:10:12 · 8262 阅读 · 0 评论 -
Review Hive 概念、意义、特性、缺点、内部组成架构、安装部署、访问方式、数据库的基本操作、数据表基本操作、自定义函数、UDF、修改表信息、表数据加载、数据导出等等
Hive基本概念是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。Hive的意义是什么背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。意义（目的）：降低程序员使用hadoop的难度。降低学习成本。Hive可以对数据进行存储与计算存储使用HDFS存储计算使用MapReduce进行计算。Hive的...原创 2020-04-11 08:07:51 · 10010 阅读 · 5 评论 -
HiveSQl使用
show databases;use date;show tables;drop table networkqualityinfo;-- 创建networkqualityinfo数据表create external table networkqualityinfo( id INT, ping S...原创 2020-01-06 10:37:25 · 7617 阅读 · 0 评论 -
HBase与Hive的整合
HBase与Hive的整合hive与我们的HBase各有千秋，各自有着不同的功能，但是归根接地，hive与hbase的数据最终都是存储在hdfs上面的，一般的我们为了存储磁盘的空间，不会将一份数据存储到多个地方，导致磁盘空间的浪费，我们可以直接将数据存入hbase，然后通过hive整合hbase直接使用sql语句分析hbase里面的数据即可，非常方便需求一：将Hive分...原创 2019-12-21 23:11:20 · 8906 阅读 · 0 评论 -
HBase与Hive的对比
Hive数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。用于数据分析、清洗Hive适用于离线的数据分析和清洗，延迟较高基于HDFS、MapReduceHive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。（不要钻不需要执行MapReduce代码的情况的...原创 2019-12-21 22:56:14 · 8365 阅读 · 0 评论 -
学会HiveSQL用这一篇就够了
yi、数据库：1、创建数据库 hivedoCREATE DATABASE hivedo;2、选择数据库hivedoUSE hivedo;3、删除数据库DROP hivedo;4.查看数据库SHOW hivedo;er、表1.创建表 suduCREATE TABLE sudu;2.更新表①向表中增加新列s...原创 2019-11-20 15:42:38 · 6750 阅读 · 7 评论 -
Hive 自定义函数之 UDF 的使用
前言 ：Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。（1）UDF（User-Defined-Function） 一进一出（2）UDAF（User-Defined Aggregation Function）聚集函数，多进一出类似于：count/max/min（3）UDTF（User-Defin...原创 2019-11-28 08:04:00 · 6891 阅读 · 0 评论