hive
关注
分享
扫一扫
文章平均质量分 90
微毂
这个作者很懒，什么都没留下…
展开
-
8 HQL操作之DML命令
数据操纵语言DML(Data Manipulation Language)，DML主要有三种形式:插入(INSERT)、删除(DELETE)、更新(UPDATE)。事务(transaction)是一组单元化操作，这些操作要么都执行，要么都不执行，是一个不可分割的工作单元。事务具有的四个要素:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)，这四个基本要素通常称为ACID特性。原子性。一个事务是一个不可再分割的..原创 2021-01-29 00:00:29 · 323 阅读 · 0 评论 -
10 Hive调优策略
Hive调优策略Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。影响Hive效率的不仅仅是数据量过大;数据倾斜、数据冗余、job或I/O过多、 MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。 从以下三个方面展开:架构优化参数优化SQL优化 10.1 架构优化执行引擎Hive支持多种执行引擎，分别是 MapReduce、Tez、Spark、Fli原创 2021-01-28 15:14:48 · 539 阅读 · 0 评论 -
9 hive-元数据管理
9.1 Metastore在Hive的具体使用中，首先面临的问题便是如何定义表结构信息，跟结构化的数据映射成功。所谓的映射指的是一种对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等信息。这些描述映射关系的数据的称之为Hive的元数据。该数据十分重要，因为只有通过查询它才可以确定用户编写sql和最终操作文件之间的关系。Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Der...原创 2021-01-28 14:44:05 · 2185 阅读 · 0 评论 -
7 Hive - 函数
SQL面试题1、连续7天登录的用户-- 数据。uid dt status(1 正常登录，0 异常)1 2019-07-11 11 2019-07-12 11 2019-07-13 11 2019-07-14 11 2019-07-15 11 2019-07-16 11 2019-07-17 11 2019-07-18 12 2019-07-11 12 2019-07-12 12 2019-07-13 02 2019-07-14 12 2019-07-15 12 201...原创 2021-01-26 21:28:51 · 398 阅读 · 0 评论 -
数据交互工具 HUE
第一部分 Hue概述Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由Cloudera Desktop 演化而来，由 Cloudera 贡献给开源社区，它是基于 Python Web 框架 Django 实现的。通过使用 Hue 可以在浏览器端的 Web 控制台上与Hadoop 集群进行交互来分析处理数据，例如操作 HDFS 上的数据，运行MapReduce Job 等等。Hue所支持的功能特性集合：默认基于轻量级sqlite数据库管理原创 2021-01-25 14:36:59 · 639 阅读 · 0 评论 -
6 HQL操作之--DQL命令【重点】
DQL – Data Query Language 数据查询语言select语法：SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list][ORDER BY col_list][CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BYcol_list]][LIMIT原创 2021-01-23 22:23:13 · 176 阅读 · 0 评论 -
5 HQL操作之--数据操作
5.1 数据导入装载数据(Load)基本语法：LOAD DATA [LOCAL] INPATH 'filepath'[OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]原创 2021-01-20 15:04:05 · 246 阅读 · 0 评论 -
4 HQL操作之 -- DDL命令
数据库的创建及删除；内部表，外部表，分区表，分桶表修改表，删除表主要命令：create、alter 、drop原创 2021-01-20 11:12:13 · 642 阅读 · 0 评论 -
3 数据仓库工具--Hive的数据类型与文件格式
大类类型ntegers(整型)TINYINT – 1字节的有符号整数SAMLINT – 2字节的有符号整数INT – 4字节的有符号整数BIGINT – 8字节的有符号整数Floating point numbers(浮点数)FLOAT – 单精度浮点数DOUBLE – 双精度浮点数Fixed point numbers(定点数)DECIMAL–17字节，任意精度数字，用户自定义精度定点数，如DECIMAL(10,3)String types(字符串)STRIN...原创 2021-01-19 14:07:57 · 224 阅读 · 0 评论 -
2 数据仓库工具 -- Hive的安装与配置
2.1 Hive安装配置Hive官网：http://hive.apache.org下载网址：http://archive.apache.org/dist/hive/文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual安装前提：3台虚拟机，安装了Hadoop安装软件：Hive(2.3.7) + MySQL (5.7.26)备注：Hive的元数据默认存储在自带的 derby 数据库中，生产中多采用MySQLd原创 2021-01-19 13:43:39 · 270 阅读 · 0 评论 -
1 数据仓库工具 -- Hive的简介
hive 简介hive 优缺点hive 架构原创 2021-01-19 11:02:56 · 259 阅读 · 1 评论