六、大数据之Hive-08

最新推荐文章于 2024-01-13 21:41:01 发布
最新推荐文章于 2024-01-13 21:41:01 发布
阅读量104 收藏
点赞数
分类专栏： Hive 文章标签： hive sql 数据库 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq18056047745/article/details/119809862
版权

六、大数据之Hive-08

压缩和存储

1、Hadoop源码编译支持Snappy压缩
1、资源准备

​ （1）CentOS联网

​ 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的

​ 注意：采用 root角色编译，减少文件夹权限出现问题

2、jar包准备（hadoop源码、JDK8、maven、protobuf）

​ （1）Hadoop-2.7.2-src.tar.gz

​ （2）jdk-8u144-linux-x64.tar.gz

​ （3）snappy-1.1.3.tar.gz

​ （4）apache-maven-3.0.5-bin.tar.gz

​ （5）protobuf-2.5.0.tar.gz

2、jar包安装

​ 注意：所有操作必须在root用户下完成

​ （1）JDK 解压、配置环境变量 JAVA_HOME 和 PATH，验证 java-version(如下都需要验证是否配置成功)

[root@hadoop101 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/
[root@hadoop101 software]# vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
[root@hadoop101 software]#source /etc/profile

​ （2）Maven 解压、配置 MAVEN_HOME 和 PATH

[root@hadoop101 software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/
[root@hadoop101 apache-maven-3.0.5]# vi /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin
[root@hadoop101 software]#source /etc/profile
3、编译源码

​ （1）准备编译环境

[root@hadoop101 software]# yum install svn
[root@hadoop101 software]# yum install autoconf automake libtool cmake
[root@hadoop101 software]# yum install ncurses-devel
[root@hadoop101 software]# yum install openssl-devel
[root@hadoop101 software]# yum install gcc*

​ （2）编译安装snappy

[root@hadoop101 software]# tar -zxvf snappy-1.1.3.tar.gz -C /opt/module/
[root@hadoop101 module]# cd snappy-1.1.3/
[root@hadoop101 snappy-1.1.3]# ./configure
[root@hadoop101 snappy-1.1.3]# make
[root@hadoop101 snappy-1.1.3]# make install
# 查看 snappy 库文件
[root@hadoop101 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy

​ （3）编译安装protobuf

[root@hadoop101 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
[root@hadoop101 module]# cd protobuf-2.5.0/
[root@hadoop101 protobuf-2.5.0]# ./configure
[root@hadoop101 protobuf-2.5.0]# make
[root@hadoop101 protobuf-2.5.0]# make install
# 查看 protobuf 版本以测试是否安装成功
[root@hadoop101 protobuf-2.5.0]# protoc --version

​ （4）编译hadoop native

[root@hadoop101 software]# tar -zxvf hadoop-2.7.2-src.tar.gz
[root@hadoop101 software]# cd hadoop-2.7.2-src/
[root@hadoop101 software]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

​ 执行成功后，/opt/software/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2.tar.gz 即为新生成的支持 snappy 压缩的二进制安装包。

2、Hadoop压缩配置
1、MR支持的压缩编码
压缩格式工具算法文件扩展名是否可切分
DEFLATE无DEFLATE.deflate否
GzipgzipDEFLATE.gz否
bzip2bzip2bzip2.lzo是
LZOlzopLZO.lzo是
Snappy无Snappy.snappy否

​ 为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下：

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

​ 压缩性能的比较：

压缩算法原始文件大小压缩文件大小压缩速度解压速度
gzip8.3GB1.8GB17.5MB/s5.8MB/s
bzip28.3GB1.1GB2.4MB/s9.5MB/s
LZO8.3GB2.9GB49.3MB/s74.6MB/s
2、压缩参数配置

​ 在Hadoop中启用压缩，mapred-site.xml文件

参数默认值阶段建议
io.compression.codecs（在 core-site.xml 中配置）org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.Lz4Codec输入压缩Hadoop 使用文件扩展名判断
mapreduce.map.output.compressfalsemapper 输出这个参数设为 true
mapreduce.map.output.compress.codecorg.apache.hadoop.io.compress.DefaultCodecmapper 输出使用 LZO、LZ4 或snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compressfalsereducer 输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codecorg.apache.hadoop.io.compress. DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2
mapreduce.output.fileoutputformat.compress.typeRECORDreducer 输出SequenceFile输出使用的压缩类型，NONE和BLOCK
3、开启Map输出阶段压缩

​ 开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。配置如下：

#1、开启 hive 中间传输数据压缩功能
hive (default)>set hive.exec.compress.intermediate=true;

#2、开启 mapreduce 中 map 输出压缩功能
hive (default)>set mapreduce.map.output.compress=true;

#3、设置 mapreduce 中 map 输出数据的压缩方式
hive (default)>set mapreduce.map.output.compress.codec=
org.apache.hadoop.io.compress.SnappyCodec;

#4、执行查询语句
hive (default)> select count(ename) name from emp;
4、开启Reduce输出阶段压缩

​ 当 Hive 将 输 出 写 入 到 表 中 时 ， 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为 true，来开启输出结果压缩功能。

#1、开启 hive 最终输出数据压缩功能
hive (default)>set hive.exec.compress.output=true;

#2、开启 mapreduce 最终输出数据压缩
hive (default)>set mapreduce.output.fileoutputformat.compress=true;

#3、设置 mapreduce 最终数据输出压缩方式
hive (default)> set mapreduce.output.fileoutputformat.compress.codec =
org.apache.hadoop.io.compress.SnappyCodec;

#4、设置 mapreduce 最终数据输出压缩为块压缩
hive (default)> set mapreduce.output.fileoutputformat.compress.type=BLOCK;

#5、测试一下输出结果是否是压缩文件
hive (default)> insert overwrite local directory
'/opt/module/datas/distribute-result' select * from emp distribute by deptno sort 
by empno desc;
5、文件储存格式

​ Hive 支持的存储数据的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。

1、列式存储和行式存储

在这里插入图片描述

​ 如上图 所示左边为逻辑表，右边第一个为行式存储，第二个为列式存储。

​ （1）行存储的特点

​ 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。

​ （2）列存储的特点

​ 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。

​ TEXTFILE 和 SEQUENCEFILE 的存储格式都是基于行存储的；

​ ORC 和 PARQUET 是基于列式存储的。

2、Text File格式

​ 默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合 Gzip、Bzip2 使

用，但使用 Gzip 这种方式，hive 不会对数据进行切分，从而无法对数据进行并行操作。

3、Orc格式

​ Orc (Optimized Row Columnar)是 Hive 0.11 版里引入的新的存储格式。

​ 如图下图 所示可以看到每个 Orc 文件由 1 个或多个 stripe 组成，每个 stripe 一般为

HDFS 的块大小，每一个 stripe 包含多条记录，这些记录按照列进行独立存储，对应到Parquet 中的 row group 的概念。每个 Stripe 里有三部分组成，分别是 Index Data，Row Data，Stripe Footer：

在这里插入图片描述

​ （1）Index Data：一个轻量级的index，默认是每个1W行做一个索引。这里做的索引应该只是记录某行的各字段在Row Data中的offset。

​ （2）Row Data：存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个列进行了编码，分成多个 Stream 来存储。

​ （3）Stripe Footer：存的是各个 Stream 的类型，长度等信息。

​ 每个文件有一个 File Footer，这里面存的是每个 Stripe 的行数，每个 Column 的数据类型信息等；每个文件的尾部是一个 PostScript，这里面记录了整个文件的压缩类型以及FileFooter 的长度信息等。在读取文件时，会 seek 到文件尾部读 PostScript，从里面解析到File Footer 长度，再读 FileFooter，从里面解析到各个 Stripe 信息，再读各个Stripe，即从后往前读。

4、Parquet格式

​ Parquet 文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此 Parquet 格式文件是自解析的。

​ 1) 行组(Row Group)：每一个行组包含一定的行数，在一个 HDFS 文件中至少存储一

个行组，类似于 orc 的 stripe 的概念。

​ 2) 列块(Column Chunk)：在一个行组中每一列保存在一个列块中，行组中的所有列连续的存储在这个行组文件中。一个列块中的值都是相同类型的，不同的列块可能使用不同的算法进行压缩。

​ 3) 页(Page)：每一个列块划分为多个页，一个页是最小的编码的单位，在同一个列块

的不同页可能使用不同的编码方式。

​ 通常情况下，在存储 Parquet 数据的时候会按照 Block 大小设置行组的大小，由于一般情况下每一个 Mapper 任务处理数据的最小单位是一个 Block，这样可以把每一个行组由一个 Mapper 任务处理，增大任务执行并行度。Parquet 文件的格式如下图 所示。

在这里插入图片描述

​ 上图展示了一个 Parquet 文件的内容，一个文件中可以存储多个行组，文件的首位都是该文件的 Magic Code，用于校验它是否是一个 Parquet 文件，Footer length 记录了文件元数据的大小，通过该值和文件长度可以计算出元数据的偏移量，文件的元数据中包括每一个行组的元数据信息和该文件存储数据的 Schema 信息。除了文件中每一个行组的元数据，每一页的开始都会存储该页的元数据，在 Parquet 中，有三种类型的页：数据页、字典页和索引页。数据页用于存储当前行组中该列的值，字典页存储该列值的编码字典，每一个列块中最多包含一个字典页，索引页用来存储当前行组下该列的索引，目前 Parquet 中还不支持索引页。

5、主流文件储存格式对比

​ Text File

​ （1）创建表，存储数据格式为TEXTFILE

create table log_text (
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by '\t'
stored as textfile ;

​ （2）向表中加载数据

hive (default)> load data local inpath '/opt/module/datas/log.data' into 
table log_text ;

​ （3）查看表中数据大小

hive (default)> dfs -du -h /user/hive/warehouse/log_text;

18.1 M /user/hive/warehouse/log_text/log.data

​ ORC

​ （1）创建表，存储数据格式为ORC

create table log_orc(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by '\t'
stored as orc ;

​ （2）向表中加载数据

hive (default)> insert into table log_orc select * from log_text ;

2.8 M /user/hive/warehouse/log_orc/000000_0
Parquet

​ （1）创建表，存储数据格式为parquet

create table log_parquet(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by '\t'
stored as parquet ;

​ （2）向表中加载数据

hive (default)> insert into table log_parquet select * from log_text ;

​ （3）查看表中数据大小

hive (default)> dfs -du -h /user/hive/warehouse/log_parquet/ ;

13.1 M /user/hive/warehouse/log_parquet/000000_0

​ 存储文件的压缩比总结：ORC>Parquet>textFile

​

存储文件的查询速度测试
TextFile
hive (default)> select count(*) from log_text;
_c0
100000
Time taken: 21.54 seconds, Fetched: 1 row(s)
Time taken: 21.08 seconds, Fetched: 1 row(s)
Time taken: 19.298 seconds, Fetched: 1 row(s)
ORC
hive (default)> select count(*) from log_orc;
_c0
100000
Time taken: 20.867 seconds, Fetched: 1 row(s)
Time taken: 22.667 seconds, Fetched: 1 row(s)
Time taken: 18.36 seconds, Fetched: 1 row(s)
Parquet
hive (default)> select count(*) from log_parquet;
_c0
100000
Time taken: 22.922 seconds, Fetched: 1 row(s)
Time taken: 21.074 seconds, Fetched: 1 row(s)
Time taken: 18.384 seconds, Fetched: 1 row(s)
存储文件的查询速度总结：查询速度相近
6、存储和压缩结合
1、修改Hadoop集群具有Snappy压缩方式
#查看 hadoop checknative 命令使用
[lyinl@hadoop104 hadoop-2.7.2]$ hadoop
 checknative [-a|-h] check native hadoop and compression libraries 
availability

#查看 hadoop 支持的压缩方式
[lyinl@hadoop104 hadoop-2.7.2]$ hadoop checknative
17/12/24 20:32:52 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 
library system-native, will use pure-Java version
17/12/24 20:32:52 INFO zlib.ZlibFactory: Successfully loaded & initialized 
native-zlib library
Native library checking:
hadoop: true /opt/module/hadoop-2.7.2/lib/native/libhadoop.so
zlib: true /lib64/libz.so.1
snappy: false 
lz4: true revision:99
bzip2: false

​ 将编译好的支持 Snappy 压缩的 hadoop-2.7.2.tar.gz 包导入到 hadoop102 的

/opt/software 中

#解压 hadoop-2.7.2.tar.gz 到当前路径
[lyinl@hadoop102 software]$ tar -zxvf hadoop-2.7.2.tar.gz

​ 进入到/opt/software/hadoop-2.7.2/lib/native 路径可以看到支持 Snappy 压缩的

动态链接库

[lyinl@hadoop102 native]$ pwd
/opt/software/hadoop-2.7.2/lib/native
[lyinl@hadoop102 native]$ ll
-rw-r--r--. 1 lyinl lyinl 472950 9 月 1 10:19 libsnappy.a
-rwxr-xr-x. 1 lyinl lyinl 955 9 月 1 10:19 libsnappy.la
lrwxrwxrwx. 1 lyinl lyinl18 12 月 24 20:39 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx. 1 lyinl lyinl 18 12 月 24 20:39 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x. 1 lyinl lyinl 228177 9 月 1 10:19 libsnappy.so.1.3.0

​ 拷贝/opt/software/hadoop-2.7.2/lib/native 里面的所有内容到开发集群 的

/opt/module/hadoop-2.7.2/lib/native 路径上

[lyinl@hadoop102 native]$ cp ../native/* /opt/module/hadoop-2.7.2/lib/native/

#分发集群
[lyinl@hadoop102 lib]$ scp native/ hadoop103:`pwd`
[lyinl@hadoop102 lib]$ scp native/ hadoop104:`pwd`

#再次查看 hadoop 支持的压缩类型
[lyinl@hadoop102 hadoop-2.7.2]$ hadoop checknative
21/12/24 20:45:02 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 
library system-native, will use pure-Java version
21/12/24 20:45:02 INFO zlib.ZlibFactory: Successfully loaded & initialized 
native-zlib library
Native library checking:
hadoop: true /opt/module/hadoop-2.7.2/lib/native/libhadoop.so
zlib: true /lib64/libz.so.1
snappy: true /opt/module/hadoop-2.7.2/lib/native/libsnappy.so.1
lz4: true revision:99
bzip2: false

​

不念人间朝暮
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据技术之Hive 第8章 压缩和存储
尚硅谷铁杆粉丝的博客
08-30 257
8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1）CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2）jar包准备(hadoop源码、JDK8 、maven、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk...
大数据的压缩与存储
Big Data
04-14 1744
压缩 压缩的好处 1.提升磁盘的利用率 2.加速网络传输 压缩的坏处 压缩解压需要消耗cpu 压缩的技术 有损 无损 压缩比 源文件1.4G 压缩技术 剩余大小 snappy 701M Lz4 693M LZO 684M gzip 447M Bzip2 390M 压缩得越小，消耗的时间越多，速度越慢 分片 bzip,lzo(需要创建索引 create ind...
大数据压缩与存储
wzl1217333452的博客
08-19 707
压缩 为什么要压缩？ 1）减少磁盘的存储空间 2）减少网络和磁盘的IO 3)加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度 压缩的局限性 每次使用数据时需要先将数据解压，加重CPU负荷。 压缩格式 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 DEFAULT ...
013 大数据之HIVE压缩和存储
小哥哥咯的博客
01-16 175
上一篇文章：012 大数据之HIVE查询 1、Hive的数据压缩介绍及使用 1、HIVE的输入编解码器不需要设置，使用文件扩展名自动判断是否支持，Hive的Map、Reduce压缩功能默认不开启； 2、Hive常见的存储格式的区别与应用场景，SequenceFile实现合并小文件，SequenceFile格式与mapreduce； 3、HIVE使用Map、Reduce压缩功能时需要开启hive中间传输数据压缩功能，才可正常使用； 4、snappy最常作为企业数据压缩格式，但不支持切分，而LZO可通过使用索引
hive---压缩和存储
人的大脑是cpu，而不是硬盘
05-18 118
修改Hadoop集群具有Snappy压缩方式 查看hadoop支持的压缩方式 hadoop checknative
大数据-hive-基础
06-04
大数据-hive-基础
apache-hive-2.3.9-bin.tar大数据HIVE.zip
10-08
通常，这包括下载解压`apache-hive-2.3.9-bin.tar.gz`，配置环境变量，创建metastore服务，以及初始化Hive库。一旦设置完成，你就可以通过Hive命令行或HiveServer2接口进行数据操作了。 总之，Apache Hive 2.3.9 是...
大数据技术之Hive-01（基础）.pdf
07-16
大数据技术之Hive-01（基础）
打怪升级之小白的大数据之旅--hive测试数据
06-03
"打怪升级之小白的大数据之旅--hive测试数据"这个标题，暗示了我们将通过实际操作Hive来学习和探索大数据的奥秘。Hive作为一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询...
spark 运行hive sql 小数运算数去精度变成了0E-7~0E-8，截取小数cast(0.2132*0.0000 as decimal(16,4))
00单00的博客
03-25 5797
目录情景原图问题解决方法（1）（个人意见）解决方法（2）使用截取关键字 cast(0.2132*0.0000 as decimal(16,4))原sql，参考注解决方法（3），改变版本号（未实验） 情景 原图 字段类型，保留小数后4位 问题 在写sql运算的时候，发现最后的结果都是0E-8，对比不正确，我就查看数据库里的字段类型，都是（16.4）就是0.0000这样的数字，小数后面留4位，而且有的字段数据是0.0000，就导致任何事乘这个数都是0.00000000（8位小数） 解决方法（1）（个人意见）
[Hive] 08 - 内建操作符、函数（UDF）
神是念着倒
06-19 672
本文将围绕Hive QL内建操作符 和用户自定义函数：内置函数、聚合函数、表生成函数
玩转大数据16：大数据存储与文件格式优化
沛哥儿的专栏
12-13 1191
列式存储格式（Columnar Storage）是一种高效的存储方式，它将数据按照列而不是行的方式存储。这种存储方式可以充分利用磁盘空间，降低I/O负载，从而提高数据处理速度。在列式存储格式中，同一列的数据被物理存储在相邻的位置，这有助于实现高效的并行处理和随机访问。
大数据开发之Hive（压缩和存储）
最新发布
key_honghao的博客
01-13 1142
Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormat API可以从不同数据源读取数据，使用OutputFormat API可以将数据写成不同的格式输出。对数据进行压缩虽然会增加额外的CPU开销，但是会节约客观的磁盘空间，并且通过减少内存的数据量而提高I/O吞吐量会更加提高网络传输性能。原则上Hadoop的job时I/O密集型的话就可以采用压缩可以提高性能，如果job是CPU密集型的话，那么使用压缩可能会降低执行性能。
大数据中常见数据存储格式与压缩格式
weixin_44172158的博客
11-08 800
所谓行式存储，指存储结构化数据时，在底层的存储介质上，数据是以行的方式来组织的，即存储完一条记录的所有字段，再存储下一条数据的全部字段，即：行式存储的情况下，每一行的数据都是连续存储的。它适用于个体或事件场景的存储，称为OLTP(Online Transaction Processing)。
Hive的数据类型和常用操作
chenxiaokang的博客
08-06 1631
Hive 数据类型和存储格式 基本数据类型：TINYINT（1字节）、SMALLINT（2字节）、INT（4字节）、BIGINT（8字节）、FLOAT（4字节）、DOUBLE（8字节）、BOOLEAN（true/false）、STRING（字符序列）。 Hive也是由Java编写的，所以Hive的基本数据类型都是对Java中的接口的实现，这些基本的数据类型和Java的基本数据类...
大数据之数据的压缩与存储
weixin_43339889的博客
12-04 921
Hive的数据压缩方式以及存储格式介绍
hive 如何处理科学计数法
热门推荐
sunlei1980的专栏
06-26 1万+
说明：Hive中int , float , double这些数值类型在存储大额度数字时，在前端展现上总是使用科学计数法来表示， 这样搞的挺烦。举例说明 样例数据： select lte_drop_rate from t_table limit 10; 输出结果： 5.0E-4 7.1E-4 5.41E-4 ... ... 处理方案： select  (case  
Hive>存储和压缩结合
qq_44509920的博客
11-30 169
官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC ORC存储方式的压缩： Key Default Notes orc.compress ZLIB high level compression (one of NONE, ZLIB, SNAPPY) orc.compress.size 26...
大数据最佳实践-hive on spark
06-28
Hive on Spark是大数据处理中的最佳实践之一。它将Hive和Spark两个开源项目结合起来，使得Hive可以在Spark上运行，从而提高了数据处理的效率和速度。Hive on Spark可以处理大规模的数据，支持SQL查询和数据分析，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值