Hive笔记

最新推荐文章于 2023-05-02 02:07:03 发布
最新推荐文章于 2023-05-02 02:07:03 发布
阅读量457 收藏 4
点赞数 2
分类专栏： 笔记

1.Hive简介

1.1 Hive是什么

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
Hive:用于解决海量结构化日志的数据统计。
本质是：将HQL转换为MapReduce程序。
在这里插入图片描述
1）Hive处理的数据存储在HDFS
2）Hive分析数据底层的实现是MapReduce
3）执行程序运行在Yarn上

主要用途：用来做离线数据分析，比直接用MapReduce开发效率更高。

1.2 为什么使用Hive

直接使用Hadoop MapReduce处理数据所面临的问题：
人员学习成本太高
MapReduce实现复杂查询逻辑开发难度太大
使用Hive ：
操作接口采用类SQL语法，提供快速开发的能力
避免了去写MapReduce，减少开发人员的学习成本
功能扩展很方便

1.3 Hive的优缺点

优点：

  1. 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
  2. 避免了去写MapReduce，减少开发人员的学习成本。
  3. Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。
  4. Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
  5. Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
    缺点：
    1．Hive的HQL表达能力有限
    （1）迭代式算法无法表达
    （2）数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。
    2．Hive的效率比较低
    （1）Hive自动生成的MapReduce作业，通常情况下不够智能化
    （2）Hive调优比较困难，粒度较粗

2. Hive架构

2.1 Hive架构原理

在这里插入图片描述
在这里插入图片描述

2.2 Hive组件

用户接口（Client）：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。

元数据存储(Metastore)：通常是存储在关系数据库如 mysql/derby中。Hive 将元数据存储在数据库中。Hive 中的元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。
默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

hadoop:使用HDFS进行存储，使用MapReduce进行计算。

解释器、编译器、优化器、执行器:完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。
（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。
（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。
（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。
在这里插入图片描述
Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。

2.3 Hive和Hadoop的关系

Hive利用HDFS存储数据，利用MapReduce查询分析数据。

3. Hive与传统数据库对比

hive用于海量数据的离线数据分析。
hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析。
更直观的对比请看下面这幅图：
在这里插入图片描述
3.1查询语言
由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。
3.2 数据存储位置
Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
3.3 数据更新
由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO … VALUES 添加数据，使用 UPDATE … SET修改数据。
3.4 执行
Hive中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的。而数据库通常有自己的执行引擎。
3.5 执行延迟
Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce框架。由于MapReduce 本身具有较高的延迟，因此在利用MapReduce 执行Hive查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。
3.6 可扩展性
由于Hive是建立在Hadoop之上的，因此Hive的可扩展性是和Hadoop的可扩展性是一致的（世界上最大的Hadoop 集群在 Yahoo!，2009年的规模在4000 台节点左右）。而数据库由于 ACID 语义的严格限制，扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有100台左右。
3.7 数据规模
由于Hive建立在集群上并可以利用MapReduce进行并行计算，因此可以支持很大规模的数据；对应的，数据库可以支持的数据规模较小。

4． Hive 数据模型

Hive中所有的数据都存储在HDFS中，没有专门的数据存储格式
在创建表时指定数据中的分隔符，Hive 就可以映射成功，解析数据。
Hive中包含以下数据模型：
db：在hdfs中表现为hive.metastore.warehouse.dir目录下一个文件夹
table：在hdfs中表现所属db目录下一个文件夹
external table：数据存放位置可以在HDFS任意指定路径
partition：在hdfs中表现为table目录下的子目录
bucket：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件

5 Hive基本操作

1． DDL操作
1.1． 创建表
建表语法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
   [(col_name data_type [COMMENT col_comment], ...)] 
   [COMMENT table_comment] 
   [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
   [CLUSTERED BY (col_name, col_name, ...) 
   [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
   [ROW FORMAT row_format] 
   [STORED AS file_format] 
   [LOCATION hdfs_path]

说明：
1、 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
2、 EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION）。
Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
3、 LIKE 允许用户复制现有的表结构，但是不复制数据。

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name LIKE existing_table;

4、

ROW FORMAT DELIMITED
[FIELDS TERMINATED BY char]
[COLLECTION ITEMS TERMINATED BY char] 
[MAP KEYS TERMINATED BY char] 
[LINES TERMINATED BY char] | SERDE serde_name 
[WITH SERDEPROPERTIES 
(property_name=property_value, property_name=property_value,...)]

hive建表的时候默认的分割符是'\001'，若在建表的时候没有指明分隔符，load文件的时候文件的分隔符需要是'\001'；若文件分隔符不是'001'，程序不会报错，但表查询的结果会全部为'null'；

用vi编辑器Ctrl+v然后Ctrl+a即可输入’\001’ -----------> ^A
SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。
Hive读取文件机制：首先调用InputFormat（默认TextInputFormat），返回一条一条记录（默认是一行对应一条记录）。然后调用SerDe（默认LazySimpleSerDe）的Deserializer，将一条记录切分为各个字段（默认’\001’）。
Hive写文件机制：将Row写入文件时，主要调用OutputFormat、SerDe的Seriliazer，顺序与读取相反。
可通过desc formatted 表名；进行相关信息查看。
当我们的数据格式比较特殊的时候，可以自定义SerDe。
5、 PARTITIONED BY
在hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition分区概念。
分区表指的是在创建表时指定的partition的分区空间。一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。表和列名不区分大小写。分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示。
 
6、 STORED AS SEQUENCEFILE|TEXTFILE|RCFILE
如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。
TEXTFILE是默认的文件格式，使用DELIMITED子句来读取分隔的文件。
7、CLUSTERED BY INTO num_buckets BUCKETS
对于每一个表（table）或者分，Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表（或者分区）组织成桶（Bucket）有两个理由：
（1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。
（2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。

1.2． 修改表

增加分区：

ALTER TABLE table_name ADD PARTITION (dt='20170101') location
'/user/hadoop/warehouse/table_name/dt=20170101'; //一次添加一个分区

ALTER TABLE table_name ADD PARTITION (dt='2008-08-08', country='us') location
 '/path/to/us/part080808' PARTITION (dt='2008-08-09', country='us') location
 '/path/to/us/part080809';  //一次添加多个分区

删除分区

ALTER TABLE table_name DROP IF EXISTS PARTITION (dt='2008-08-08');
ALTER TABLE table_name DROP IF EXISTS PARTITION (dt='2008-08-08', country='us');

修改分区

ALTER TABLE table_name PARTITION (dt='2008-08-08') RENAME TO PARTITION (dt='20080808');

添加列

ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name STRING);

注：ADD是代表新增一个字段，新增字段位置在所有列后面(partition列前)
REPLACE则是表示替换表中所有字段。

修改列

test_change (a int, b int, c int);

ALTER TABLE test_change CHANGE a a1 INT; //修改a字段名

// will change column a's name to a1, a's data type to string, and put it after column b. The new table's structure is: b int, a1 string, c int
ALTER TABLE test_change CHANGE a a1 STRING AFTER b; 

// will change column b's name to b1, and put it as the first column. The new table's structure is: b1 int, a ints, c int
ALTER TABLE test_change CHANGE b b1 INT FIRST;

表重命名

ALTER TABLE table_name RENAME TO new_table_name
1.3． 显示命令

show tables;
显示当前数据库所有表
show databases |schemas;
显示所有数据库
show partitions table_name;
显示表分区信息，不是分区表执行报错
show functions;
显示当前版本hive支持的所有方法
desc extended table_name;
查看表信息
desc formatted table_name;
查看表信息（格式化美观）
describe database database_name;
查看数据库相关信息

2． DML操作
2.1． Load

在将数据加载到表中时，Hive不会进行任何转换。加载操作是将数据文件移动到与Hive表对应的位置的纯复制/移动操作。
语法结构

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO 
TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

说明：
1、 filepath
相对路径，例如：project/data1
绝对路径，例如：/user/hive/project/data1
完整 URI，例如：hdfs://namenode:9000/user/hive/project/data1
filepath可以引用一个文件（在这种情况下，Hive将文件移动到表中），或者它可以是一个目录（在这种情况下，Hive将把该目录中的所有文件移动到表中）。
2、 LOCAL
如果指定了 LOCAL， load命令将在本地文件系统中查找文件路径。
load 命令会将 filepath中的文件复制到目标文件系统中。目标文件系统由表的位置属性决定。被复制的数据文件移动到表的数据对应的位置。
如果没有指定 LOCAL 关键字，如果 filepath 指向的是一个完整的 URI，hive 会直接使用这个 URI。 否则：如果没有指定 schema 或者 authority，Hive 会使用在 hadoop 配置文件中定义的 schema 和 authority，fs.default.name 指定了 Namenode 的 URI。
3、 OVERWRITE
如果使用了 OVERWRITE 关键字，则目标表（或者分区）中的内容会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。

2.2． Insert

Hive中insert主要是结合select查询语句使用，将查询结果插入到表中，例如：

insert overwrite table stu_buck
select * from student cluster by(Sno);

需要保证查询结果列的数目和需要插入数据表格的列数目一致.
如果查询出来的数据类型和插入表格对应的列数据类型不一致，将会进行转换，但是不能保证转换一定成功，转换失败的数据将会为NULL。
可以将一个表查询出来的数据插入到原表中, 结果相当于自我复制了一份数据。
Multi Inserts多重插入:

from source_table
insert overwrite table tablename1 [partition (partcol1=val1,partclo2=val2)] select_statement1
insert overwrite table tablename2 [partition (partcol1=val1,partclo2=val2)] select_statement2..

Dynamic partition inserts动态分区插入:

INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement

动态分区是通过位置来对应分区值的。原始表select出来的值和输出partition的值的关系仅仅是通过位置来确定的，和名字并没有关系。

导出表数据
语法结构

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ... FROM ...
multiple inserts:
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] ...

数据写入到文件系统时进行文本序列化，且每列用^A来区分，\n为换行符。

2.3． Select

基本的Select操作
语法结构

SELECT [ALL | DISTINCT] select_expr, select_expr, ... 
FROM table_reference
JOIN table_other ON expr
[WHERE where_condition] 
[GROUP BY col_list [HAVING condition]] 
[CLUSTER BY col_list 
  | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list] 
] 
[LIMIT number]

说明：
1、order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。
2、sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。
3、distribute by(字段)根据指定字段将数据分到不同的reducer，分发算法是hash散列。
4、Cluster by(字段) 除了具有Distribute by的功能外，还会对该字段进行排序。
如果distribute和sort的字段是同一个时，此时，cluster by = distribute by + sort by

3． Hive join

Hive中除了支持和传统数据库中一样的内关联、左关联、右关联、全关联，还支持LEFT SEMI JOIN和CROSS JOIN，但这两种JOIN类型也可以用前面的代替。
Hive 支持等值连接（a.id = b.id）,不支持非等值(a.id>b.id)的连接，因为非等值连接非常难转化到 map/reduce 任务。另外，Hive 支持多 2 个以上表之间的join。
写 join 查询时，需要注意几个关键点：
join 时，每次 map/reduce 任务的逻辑：
reducer 会缓存 join 序列中除了最后一个表的所有表的记录，再通过最后一个表将结果序列化到文件系统。这一实现有助于在 reduce 端减少内存的使用量。实践中，应该把最大的那个表写在最后（否则会因为缓存浪费大量内存）。
LEFT，RIGHT 和 FULL OUTER 关键字用于处理 join 中空记录的情况
SELECT a.val, b.val FROM a LEFT OUTER JOIN b ON (a.key=b.key)
对应所有 a 表中的记录都有一条记录输出。输出的结果应该是 a.val, b.val，当 a.key=b.key 时，而当 b.key 中找不到等值的 a.key 记录时也会输出:
a.val, NULL
所以 a 表中的所有记录都被保留了；
“a RIGHT OUTER JOIN b”会保留所有 b 表的记录。
Join 发生在 WHERE 子句之前。
如果你想限制 join 的输出，应该在 WHERE 子句中写过滤条件——或是在 join 子句中写。这里面一个容易混淆的问题是表分区的情况：

  SELECT a.val, b.val FROM a
  LEFT OUTER JOIN b ON (a.key=b.key)
  WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'

这会 join a 表到 b 表（OUTER JOIN），列出 a.val 和 b.val 的记录。WHERE 从句中可以使用其他列作为过滤条件。但是，如前所述，如果 b 表中找不到对应 a 表的记录，b 表的所有列都会列出 NULL，包括 ds 列。也就是说，join 会过滤 b 表中不能找到匹配 a 表 join key 的所有记录。这样的话，LEFT OUTER 就使得查询结果与 WHERE 子句无关了。解决的办法是在 OUTER JOIN 时使用以下语法：

  SELECT a.val, b.val FROM a LEFT OUTER JOIN b
  ON (a.key=b.key AND
      b.ds='2009-07-07' AND
      a.ds='2009-07-07')

这一查询的结果是预先在 join 阶段过滤过的，所以不会存在上述问题。这一逻辑也可以应用于 RIGHT 和 FULL 类型的 join 中。

Join 是不能交换位置的。
无论是 LEFT 还是 RIGHT join，都是左连接的。

  SELECT a.val1, a.val2, b.val, c.val
  FROM a
  JOIN b ON (a.key = b.key)
  LEFT OUTER JOIN c ON (a.key = c.key)

先 join a 表到 b 表，丢弃掉所有 join key 中不匹配的记录，然后用这一中间结果和 c 表做 join。

6.Hive函数

1． 内置运算符
在Hive有四种类型的运算符：
• 关系运算符
• 算术运算符
• 逻辑运算符
• 复杂运算
内容较多，见《Hive官方文档》或者《hive常用运算和函数.doc》
2． 内置函数
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
测试各种内置函数的快捷方法：
创建一个dual表
create table dual(id string);
load一个文件（只有一行内容：内容为一个空格）到dual表
select substr(‘angelababy’,2,3) from dual;

内容较多，见《Hive官方文档》或者《hive常用运算和函数.doc》
3． Hive 自定义函数和Transform
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
3.1． UDF 开发实例
新建JAVA maven项目
添加 hive-exec-1.2.1.jar和hadoop-common-2.7.4.jar依赖（见参考资料）
1、写一个java类，继承UDF，并重载evaluate方法

package cn.itcast.bigdata.udf
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class Lower extends UDF{
	public Text evaluate(Text s){
		if(s==null){return null;}
		return new Text(s.toString().toLowerCase());
	}
}

2、打成jar包上传到服务器
3、将jar包添加到hive的classpath
hive>add JAR /home/hadoop/udf.jar;
4、创建临时函数与开发好的java class关联
create temporary function tolowercase as ‘cn.itcast.bigdata.udf.ToProvince’;
5、即可在hql中使用自定义的函数tolowercase ip
Select tolowercase(name),age from t_test;
 
3.2． Transform实现（了解）
Hive的 TRANSFORM 关键字提供了在SQL中调用自写脚本的功能
适合实现Hive中没有的功能又不想写UDF的情况

使用示例1：下面这句sql就是借用了weekday_mapper.py对数据进行了处理.

add FILE weekday_mapper.py;

INSERT OVERWRITE TABLE u_data_new
SELECT
  TRANSFORM (movieid , rate, timestring,uid)
  USING 'python weekday_mapper.py'
  AS (movieid, rating, weekday,userid)
FROM t_rating;

其中weekday_mapper.py内容如下

#!/bin/python
import sys
import datetime

for line in sys.stdin:
  line = line.strip()
  movieid, rating, unixtime,userid = line.split('\t')
  weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()
  print '\t'.join([movieid, rating, str(weekday),userid])

4． Hive 特殊分隔符处理（扩展）
hive读取数据的机制：
首先用InputFormat<默认是：org.apache.hadoop.mapred.TextInputFormat >的一个具体实现类读入文件数据，返回一条一条的记录（可以是行，或者是你逻辑中的“行”）
然后利用SerDe<默认：org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe>的一个具体实现类，对上面返回的一条一条的记录进行字段切割。

Hive对文件中字段的分隔符默认情况下只支持单字节分隔符，如果数据文件中的分隔符是多字符的，如下所示：

01||zhangsan
02||lisi
可用使用RegexSerDe通过正则表达式来抽取字段

drop table t_bi_reg;
create table t_bi_reg(id string,name string)
row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe'
with serdeproperties(
'input.regex'='(.*)\\|\\|(.*)',
'output.format.string'='%1$s %2$s'
)
stored as textfile;

hive>load data local inpath '/root/hivedata/bi.dat' into table t_bi_reg;
hive>select * from t_bi_reg;
其中：
input.regex：输入的正则表达式 
	表示 || 左右两边任意字符被抽取为一个字段
output.format.string：输出的正则表达式
	%1$s  %2$s则分别表示表中的第一个字段、第二个地段

注意事项：
a、使用RegexSerDe类时，所有的字段必须为string
b、input.regex里面，以一个匹配组，表示一个字段

Tate小白
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HIVE学习笔记详细教程
09-06
HIVE学习笔记，看完整个文档，对HIVE与HADOOP的关系，就完全明白，就能直接用HIVE进行各种数据分析。hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Hive操作笔记（呕心沥血制作）
05-02
Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）Hive操作笔记（呕心沥血制作）
Hive大数据仓库-笔记整理 （一）2020年最新版.pdf
10-11
Hive大数据仓库-笔记整理 （一）2020年最新版.pdf
大数据hive笔记.zip
10-05
hive
大数据之hive笔记
11-25
大数据hive的全部笔记，需要的小伙伴可以下载哦！如果没有积分也可以私信我哦
Hive常用优化方法总结
西湖边上的小松鼠
11-29 1817
原文地址 https://blog.csdn.net/ytp552200ytp/article/details/91797565 如有侵权，请联系删除，谢谢！ Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。 1. 列裁剪和分区裁剪 最基本的操作。所谓列裁剪就是在查询时只.
hive 简介
qq_43192537的博客
11-30 1308
hive 简介
Hive架构组成与执行过程
晓晓的天空
09-28 1826
Hive架构组成与执行过程
MySQL解析器和优化器，你了解它们吗？
xiaochao_bos的博客
05-02 824
其主要功能是将输入的SQL语句分解为语法单元，然后将这些语法单元转换为内部表示的数据结构，最终生成一个可执行的查询计划。在语义分析阶段，MySQL的SQL解析器会对SQL语句的语义进行检查。这一阶段的任务包括对表和列名进行解析，检查SQL语句的语义正确性，并将SQL语句转换为适当的内部数据结构。关系代数对SQL语句做一些等价变换，对条件表达式进行等价谓词重写、条件简化，对视图进行重写，对子查询进行优化，对连接语义进行了外连接消除、嵌套连接消除等。优化器分为两种方式，逻辑查询优化和物理查询优化。
hive的结构和执行流程
qq_42456324的博客
06-24 2797
hive的结构 hive执行流程 a. 通过用户接口组件，如命令行方式、页面操作方式或不同驱动程序（JDBC、ODBC等）的客户端，向Hive Driver发送执行命令。目的是获取查询结果。 b. 获取查询计划，Driver拿到执行命令后，会向Complier（编译器）获取查询计划 c. 获取元数据信息，编译器生成查询计划，首先要获取相关的元数据信息。此步骤为编译器向元数据组间获取元数据信息。 d. 元数据组间向编译器发送元数据信息 e. 编译器根据获取元数据信息生产计划计划 f.
hive笔记.md的
05-11
hive笔记.md的
hive笔记，亲测可用，绝对的
04-09
hive笔记，保证绝对可用
hive笔记.doc
06-10
hive笔记。慕课网精心整理。本文档涵盖几乎所有hive所用到的功能。
Hive原理详解
热门推荐
ForgetThatNight的博客
03-25 1万+
(一) Hive基础1.1 背景• 引入原因：    – 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码        select word, count(*) from ( select explode(split(sentence, ' ')) as word from article) t group by word即可完成wordcount(...
Hadoop大数据生态组件环境安装
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-25 753
本文介绍大数据hadoop环境各组件安装，三台虚拟机分布式安装，详细安装过程内容可参考本文。各组件端口号查看：http://www.gaohongwei.cn/530/ CentOS7配置NAT模式网络详细步骤（亲测版）https://blog.csdn.net/Jackson_mvp/article/details/100856966 1.重启网络 servicenetworkres..
python做数据查询系统_[Python实战] 功能简单的数据查询及可视化系统
weixin_39612058的博客
11-27 428
前言数据时代，数据的多源集成和快速检索查询是第一步，配上数据分析及可视化才能算窥得大数据一角。创建这个项目的主要目的一是对前期工作的一些总结，二是提升自己。这里简单介绍一下sqlpro这个项目的核心功能。本项目基于python的flask web框架。提供简单的页面（起初准备用vue写前端，奈何自身能力所限，遂放弃。依然基于flask+jinja2的mvt模式）。对于数据查询引擎部分，因为需要支持...
3万字史诗级 Hive 性能调优(建议收藏)
weixin_45727359的博客
05-27 722
前言 Hive 作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率 。影响 Hive 效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce 分配不合理等等。 对Hive 的调优既包含 Hive 的建表设计方面，对 HiveHQL 语句本身的优化，也包含 Hive 配置参数 和 底层引擎 MapRedu...
Hive学习笔记
肥猫
07-25 2490
Hive
基于AT89C51单片机的三电梯联动控制系统+全部资料+详细文档（高分项目）.zip
最新发布
05-11
【资源说明】 基于AT89C51单片机的三电梯联动控制系统+全部资料+详细文档（高分项目）.zip基于AT89C51单片机的三电梯联动控制系统+全部资料+详细文档（高分项目）.zip基于AT89C51单片机的三电梯联动控制系统+全部资料+详细文档（高分项目）.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
hive中如何把13位转化为时间_hive笔记
06-09
在Hive中，可以使用`from_unixtime()`函数将13位时间戳转换为时间格式。具体语法如下： ``` SELECT from_unixtime(13位时间戳/1000,'yyyy-MM-dd HH:mm:ss') as 时间列 FROM 表名; ``` 其中，`13位时间戳/1000`表示...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值