Hive参数优化

最新推荐文章于 2024-11-21 00:17:51 发布
最新推荐文章于 2024-11-21 00:17:51 发布
阅读量1.1k 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： hive hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feizuiku0116/article/details/121043245
版权
本文详细介绍了基于Hive2.x的Hadoop集群优化配置，包括HDFS副本数、CPU配置、内存设置、本地目录管理、MapReduce内存调整、HiveServer2堆栈优化、并行编译、动态分区线程数、监听输入文件线程数、Map与Reduce输出压缩、中间数据及最终结果压缩等关键参数。通过这些优化，可以显著提升大数据处理效率和系统性能。
摘要由CSDN通过智能技术生成

此教程中关于Hive的优化，皆是基于Hive2.x的版本，对于Hive1.x旧版本的优化机制不再复述（新版本已改善或变更）。另外新版本中默认为开启状态的优化配置项，在工作中无需修改，也不再复述。

一、HDFS副本数

  • 配置项：dfs.replication （ HDFS）
  • 介绍：文件副本数，通常设为3，不推荐修改。
    在这里插入图片描述

二、CPU配置

  • 查看CPU线程数

    grep 'processor' /proc/cpuinfo | sort -u | wc -l

    在这里插入图片描述

  • 配置项：yarn.nodemanager.resource.cpu-vcores

  • 表示该节点服务器上yarn可以使用的虚拟CPU个数，默认值是8，推荐将值配置与物理CPU线程数相同，如果节点CPU核心不足8个，要调小这个值，yarn不会智能的去检测物理核心数。
    -
    在这里插入图片描述

三、内存配置

  • 配置项：yarn.nodemanager.resource.memory-mb
  • 设置该nodemanager节点上可以为容器分配的总内存，默认为8G，如果节点
最低0.47元/天 解锁文章
一文看懂 Hive 优化大全（参数配置、语法优化）
JIE的博客 --- moon_coder
09-01 2383
在数据库和 SQL 查询中，“Hint” 是一种用于指导数据库查询优化器执行查询的特殊注释或指令。它允许数据库管理员或开发人员向查询优化器提供额外的信息，以帮助优化器生成更有效的查询计划。SQL Hint 通常以特定的注释形式嵌入到查询语句中，以提示数据库系统如何执行查询。
Hive--参数优化
XiaodunLP的博客
06-20 461
一、Map阶段的优化（Mapphase） 1.Map数的计算公式为： num_Map_tasks=max[${Mapred.min.spilt.size},min(${dfs.block.size},${Mapred.max.split.size})] Mapred.min.spilt.size指的是数据的最小分割单元大小（默认为1B） Mapred.max.split.size指的是数据...
hive参数优化总结
06-20
本文档主要总结了hive的参数优化，对hive的理解具有一定的作用
Hive调优
最新发布
m0_63845988的博客
11-21 1392
本文主要内容包括Hive调优，调优方法主要有：Hive数据压缩，Hive数据存储格式，fetch抓取策略，本地模式，join优化操作，SQL优化(列裁剪,分区裁剪,map端聚合,count(distinct),笛卡尔积)，动态分区，MapReduce并行度调整，并行执行，严格模式 ，JVM重用，推测执行，执行计划explain。
Hive优化
weixin_30929295的博客
06-21 218
hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limit.file=10：最大文件数 1. 本地模式(小任务)：需要满足以下条件： 　　1.job的输入...
hive优化之参数调优
xingdianp的博客
10-17 3900
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 hive优化之参数调优 1、hive参数优化之默认启用本地模式 启动hive本地模式参数，一般建议将其设置为true，即时刻
Hive调优（语法与参数层面优化）
热门推荐
吃果冻不吐果冻皮
05-04 1万+
一、简介 作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经显得至关重要。好的架构胜过任何优化，好的Hql同样会效率大增，修改Hive参数，有时也能起到很好的效果。有了瓶颈才需要优化 1、Hadoop的主要性能瓶颈是IO负
Hive优化以及相关参数设置
ziaoming_biu的博客
05-01 2911
如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。如果某个不平衡的job中有几个 reduce task 执行的时间要比其他的 reduce task 消耗的时间要多得多的话，那么保留的插槽就会一直空闲却无法被其他的 job 使用，直到所有的 task 都结束了才会释放。默认情况下，在进行分组聚合的时候，相同的键的数据会进入到同一个reduce中进行处理，如果分组的时候某一个值有大量的重复的数据，则会导致某一个reduce任务量会很大，从而导致数据倾斜。
hive参数优化文档
11-29
### Hive参数优化详解 #### 一、整体架构优化 在Hive的整体架构中进行优化，主要是为了提升查询处理效率及资源利用率。以下是一些关键点： 1. **表设计**： - **分区表**：根据查询维度进行分区，如日期分区等。...
Hive参数优化策略与小文件合并详解
Hive参数优化总结 Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许用户以SQL-like语言进行数据处理和分析。本文档着重于总结Hive的参数优化策略，以提高查询性能和资源利用率。优化Hive主要关注以下几个...
Hive调优及参数优化（详细版）
奇迹虎虎的博客
02-18 1万+
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
Hive参数调优大全
小道的博客
03-03 3017
SET hive.optimize.skewjoin = true; SET hive.skewjoin.key = 100000; 开启动态分区   SET hive.exec.dynamic.partition.mode = nonstrict; 设置ReduceTask任务数   SET mapred.reducer.tasks = 50; Hive中间结果压缩和压缩输出   SEThive.exec.compress.output = true;–默认false   SET hive.exec.
hive参数优化
waplys的博客
06-26 452
-- 设置hive的计算引擎为spark set hive.execution.engine=spark; -- 修复分区 set hive.msck.path.validation=ignore; msck repair table sub_ladm_app_click_day_cnt; -- 打印表头 set hive.cli.print.header=true; set hive.cli...
hive常用参数优化
my blogs
05-23 275
--中间结果压缩 set hive.exec.compress.intermediate=true; set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; --sequeuencefile文件输出结果压缩 set hive.exec.compress.output=true; set io.seqfile.compression.type=block; set mapred.output.com.
hive常用参数优化及说明
weixin_43451620的博客
09-16 554
hive常用参数优化及说明 一、常用参数优化 开启任务并行执行 set hive.exec.parallel=true; 同一个sql允许并行任务的最大线程数 set hive.exec.parallel.thread.number=8; 若读取小文件较多，则设置在map端进行小文件合并参数 set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; set hive.hadoop.supports.s
Hive优化参数
laohu的博客
06-28 473
set hive.cbo.enable=true; //开启CBO优化器 set hive.exec.parallel=true; //开启并发执行 set hive.exec.parallel.thread.number=2;//开启并发执行 set hive.auto.convert.join=true; //将common join转化为mapjoin ## 动态分区 set hive.exec.dynamic.partition.mode=nonstrict; //strict,分区表..
Hive 性能调优大全
ytp552200ytp的博客
06-13 4816
Hive 性能调优大全
hive参数配置调优
manweizhizhuxia的博客
03-16 3323
参数设置方式 1、配置文件 （全局有效） 2、命令行参数（对 hive 启动实例有效） 3、命令行参数声明 （对 hive 的连接 session 有效） 作业设置 set mapreduce.job.name=${fileName}_0; --作业名称set mapreduce.job.priorite=NORMAL; --作业优先级set mapreduce.job.queuename=default; --作业队列 适当加大map set mapreduce.input.fileinputform
Hive 常用的参数优化-- 部分优化参数--可以参考
星月情缘的博客
03-05 336
set mapred.job.queue.name=xxx; 说明: xxx 表示队列名称 set hive.cli.print.header=true; 开启表头打印 --简单查询不启用MR --set hive.limit.optimize.enable=true; --set hive.exec.mode.local.auto=true; ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值