hive 查看数据量_Hive与MapReduce相关排序及自定义UDF函数

最新推荐文章于 2022-06-14 16:27:34 发布
最新推荐文章于 2022-06-14 16:27:34 发布
阅读量363 收藏
点赞数
文章标签： hive 查看数据量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31735943/article/details/113451725
版权

Hive和mapreduce相关的排序和运行的参数

1.设置每个reduce处理的数据量(单位是字节)

我们在hive中查看下

e40d809ff69e0db06d2ac7f970a463ca.png

配置文件hive-site.xml.template

9e6196cba3597e7936fcb5eacef2640e.png

我们打开配置文件可以看到

3eb41e29d9461da85aaf21a63a53c0aa.png

这是256MB

9830dba117d25f6f8c672d730185b46c.png

如果超过1G，将使用4个reducers

d529ee334b06e37eae64e5d333776102.png

2、设置最大运行的reduce的个数

同上我们可以在配置中找到下面的内容

404f135afe9222ba38f45b6390c3635d.png

复制到记事本里，简化了描述，从配置中我们可以看到默认reduce个数是1009

cb1dd5d456f05466f8aa39733dc0f588.png

3．实际运行的reduce的个数

这个去哪里看呢？我们用之前执行过的reduce

d9984f9275216f575dfd5422c25dd1a4.png

访问8088端口，查看历史history

最低0.47元/天 解锁文章
艺股
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive 数据查询
jyl1798的专栏
09-12 2491
一、SELECT ... FROM ...子句 hive> SELECT name, salary FROM employees; hive> SELECT e.name, e.salary FROM employees e; 第一种方式是我们普遍使用的，第二种方式使用了别名，这在JOIN查询时非常必要     1.1  查询数组结果，subordinates 数组类型
Hive-元数据查询表数据量
docsz的博客
06-30 1万+
Statistics使用 1、表，分区级别的统计信息 对于新创建的表或者分区，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计信息更新到元数据。有一个参数来控制是否自动统计，hive.stats.autogather，默认为true. 对于已经存在表或分区我们可以通过ANALYZE命令手动更新其Statistics信息： ANALYZE TABLE Table1 COMPUTE STATISTICS;//统计全表的所有分区的信息 ANALYZE TA
Hive通过元数据库获取表的数据量，占用空间(包括分区表的)
爱米酱的博客
06-22 2332
SELECT a.TBL_ID, d.`NAME` dbName, a.TBL_NAME, b.PARAM_VALUE numRows, c.PARAM_VALUE totalSize FROM TBLS AS a left JOIN TABLE_PARAMS AS b on a.TBL_ID = b.TBL_ID left JOIN TABLE_PARAMS AS c on a.TBL_ID = c.TBL_ID left JOIN DBS as d on d.DB_ID = .
Hive监控表的数据量，使用analyze
qq_43528451的博客
05-10 1662
Hive监控表的数据量，使用analyze 1、使用方式 analyze TABLE td.pt_pmart_ceo_FIN_TRSF_CTR_SITE_MAP partition (dt) COMPUTE STATISTICS noscan 工作中用到的统计一个表的数据量 # table_counts 查询出传入日期的表的数据量 table_counts=$(hive -e "analyze table ${DB_NAME}.${TABLE_NAME} partition(pt='${P_DATE}'
HIVE表数据量和数据记录数的矛与盾&小文件[转]
liaonanfeng88的CSDN博客
06-14 423
HIVE作为在Hadoop分布式框架下的数据仓库技术，处理大数据量是最基本的诉求，这种海量处理是基于分布式框架，利用分布式存储，分布式计算，利用大集群的资源并行处理海量数据。但是一旦我们不能利用这种分布式并行处理，那么海量数据只能是低效处理了。再往细处说，就是一份海量数据需要多少map来处理，一个map能处理多少数据，这些都制约着数据处理的效率。...
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
- 表达式与函数：内置函数包括数学、字符串、日期时间等多种类型，同时支持用户自定义函数（UDF）。 3. Hive自定义函数（UDF）： - UDF定义：用户可以编写Java代码实现特定功能的函数，然后在Hive SQL中调用。 -...
大数据课程-Hadoop集群程序设计与开发-7.Hive数据仓库_lk_edit.pptx
01-01
用户还可以自定义函数（UDF）来扩展Hive的功能。 **7.8 Hive 进阶与实战** Hive的进阶内容可能涉及优化查询性能、使用Hive的视图、分区和桶等特性，以及如何结合MapReduce或Spark进行更复杂的分析任务。 在教学...
hive自定义函数demo
05-30
下面，我们将深入学习与Hive自定义函数相关的知识。 1. **什么是Hive UDF?** Hive自定义函数（User Defined Function，UDF）是用户编写并集成到Hive系统中的函数，用来处理Hive不内置支持的特定计算或转换任务。...
Hive-工具篇_hive_
10-04
- **UDF（User Defined Function）**：用户可以自定义函数扩展Hive的功能，包括标量函数、聚合函数和分区函数。 - **UDAF（User Defined Aggregation Function）**：用于处理一组输入并返回单个值，例如自定义聚合...
hive_medo_java_hive_
10-02
- **UDF（User Defined Functions）**：Java可以用来编写自定义函数，扩展Hive的内置功能。例如，如果Hive不支持特定的数据转换或统计计算，可以通过Java编写UDF并注册到Hive中，然后在HQL中调用。 - **UDAF（User...
海量数据处理-hive数据仓库
09-04
海量数据处理-hive数据仓库 很好的讲解的大数据海量数据处理的数据仓库模型建设
查数据库中所有表大小
10-22
查数据库单个表大小 查数据库所有表大小
基于统计方法的Hive数据仓库查询优化实现
07-09
Map/Reduce是海量离线数据分析中广泛应用的并行编程模型.Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题.均衡计算模型(computation balanced model,CBM),其核心思想是通过数据分布特征指导查询计划优化.相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题.实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%~45%,Join查询耗时节省了12%~46%;集群CPU负载均衡指标优化了60%~80%,I/O负载均衡指标优化了60%~90%.实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率.
[源码分享] HIVE表数据量统计&邮件
yfk的专栏
10-29 8000
概要： 计算HIVE BI库下每天数据表总大小及增量 输出： 总大小:xxxG 日同比新增数据量:xxxG 周同比新增数据量:xxxG 月同比新增数据量:xxxG 总表数:xxx 日新增表数:xxx 周新增表数:xxx 月新增表数:xxx 最大的20张表: ...... 表数据增量TOP20: ......代码： bi_report.sh #!/bin/bash GI
Hive数据排序
timicai的博客
09-26 533
Hive数据排序一、order by(全局排序)二、 sort by(分区内排序)/distribute by三、cluster by四、小结 一、order by(全局排序) order by (asc|desc)类似于标准SQL 只使用一个Reducer执行全局数据排序 速度慢,应提前做好数据过滤 支持使用case when或表达式 支持按位置编号排序 输入设置项： set hive.groupby.orderby.position.alias=true; 实例： select name,i
Hive-DML数据操作、数据查询以及查询排序
clearlxj的博客
08-19 639
DML 数据操作 数据导入 向表中装载数据(Load) hive> load data [local] inpath '数据的path' [overwrite] into table student [partition (partcol1=val1,...)]; (1)load data:表示加载数据 (2)local:表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到 hive 表 (3)inpath:表示加载数据的路径 (4)overwrite:表示覆盖表中已有数据,否则表示追加
hive自定义函数UDF的使用方法
热门推荐
Enzo的探索之路
12-06 1万+
虽然Hive已经提供了很多内置的函数，比如count()、sum()，但是还是不能满足用户的需求，因此提供了自定义函数供用户自己开发函数来满足自己的需求。本实例通过编写自己的UDF，实现通过一个人的出生日期，计算其所属的星座。 一、自定义函数分类 UDF(User-Defined-Function)用户自定义函数，输入一个数据然后产生一个数据； UDAF(User-Defined Aggregat...
通过hive元数据查询hive库和表的总条数
王木头的博客
12-15 8960
通过hive元数据查询库表总条数和总大小
Hive快速拉取大量数据
u014389734的博客
11-19 1503
用hive来做数仓类操作，或者大数据的运算，是没有疑问的，至少在你没有更多选择之前。当我们要hive来做类似于大批量数据的select时，也许问题就会发生了变化。 1. 通用解决方案之分页 首先，我们要基于一个事实，就是没有哪个数据库可以无限制的提供我们select任意数据量的数据。比如常用的 mysql, oracle, 一般你select 10w左右的数据量时已经非常厉害了。而我们的解决方法也比较简单，那就是分页获取，比如我一页取1w条，直到取完为止。同样，因为hive基于都支持sql92协议，所
Hive用户指南(Hive-user-guide)-中文版.doc
最新发布
10-12
元数据服务器存储了关于表、分区、列等信息，而HiveServer负责处理客户端的请求，与Hadoop集群交互执行MapReduce任务。 2. Hive和Hadoop关系 Hive是建立在Hadoop之上的，利用HDFS存储数据，通过MapReduce进行计算...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值