spark hive 任务优化浅谈

最新推荐文章于 2024-01-04 21:05:39 发布
VIP文章 最新推荐文章于 2024-01-04 21:05:39 发布
阅读量385 收藏
点赞数
分类专栏： Spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/earl211/article/details/104046341
版权

spark hive 任务优化浅谈


在日常的etl开发的过程中，不管是使用spark，或者是hive来做开发，经常会遇见任务跑的特别慢，或者任务出现oom，或者数据量并不大，但是任务就是跑的特别慢等等情况。

关于任务的优化，我将自己工作中用到的一些小的trick分享出来。

数据倾斜

数据倾斜是什么？数据倾斜是在计算数据的时候，数据的分散度不够，大量的数据集中在一台或者几台机器上计算，导致整个计算过程过慢甚至失败。
举个例子，1TB的数据，十台机器并行计算，由于数据分区不合理，9台机器上各承担了10GB的计算任务，剩下910GB的数据在一台机器上。因而负载大的机器，需要的资源过大，运行的时间过长等等问题。

数据倾斜的表现

    最低0.47元/天 解锁文章
    coding如逆水行舟
    关注
    • 0
      点赞
    • 踩
    • 0
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    专栏目录
    Spark和Hive的结合（让hive基于spark计算）
    徐磊的博客
    02-16 913
    spark和hive结合 1.安装mysql 2.在spark/conf中创建一个hive-site.xml <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- L...
    spark sql 查看分区_Spark-sql读取hive分区表限制分区过滤条件及限制分区数量
    weixin_39974882的博客
    12-19 2262
    问题描述在开发过程中使用spark去读取hive分区表的过程中(或者使用hive on spark、nodepad开发工具)，部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题解决办法1、自定义规则CheckPartitionTable类，实现Ruletype ExtensionsBuilder = SparkSessionExtensio...
    【Spark精讲】Spark on Hive性能优化
    话数Science
    01-04 1404
    【Spark精讲】Spark on Hive性能优化 第一章 1.1 集群配置概述 1.2 集群规划概述 第二章 Yarn配置 2.1 Yarn配置说明 yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores yarn.scheduler.maximum-allocation-mb yarn.scheduler.minimum-allocation-mb 第三章 Spark的配置说明
    Sql调优+Hive调优+Spark调优
    Taker256的博客
    12-05 123
    select * from a join (select 列1,列2...,if(id is null,concat(10,rand()),id)id from b)b on a.id=b.id;3.桶表 join 桶表,且表A的桶的数量,是表B的桶的数量的整数值,则可以用分桶字段 替代 关联字段,即: on a.id=b.id=>on a.分桶字段=b.分桶字段;默认情况下,1个分区=1个ReduceTask任务=1个最终结果文件,如果要调整ReduceTask数量,就手动调整分区数量。
    Spark SQL优化之路——Hive篇
    Christopher_L1n的博客
    10-31 4027
    Spark SQL针对Hive数据源的优化指南。
    hive 面试宝典 spark hive优化
    12-07
    hive 面试宝典，hive常见问题，hive优化非常详细
    Hive脚本任务参数优化配置.doc
    最新发布
    03-05
    Hive脚本任务参数优化配置
    spark优化
    01-07
    Spark的开发优化 ...　通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，
    spark连接HIveDemo
    04-13
    spark连接hive数据库的完整demo
    spark任务一直卡住，问题分析、解决
    spark_dev的博客
    04-08 7998
    项目场景： spark运行中，job一直在执行中，运行过程中会有hdfs, db的交互 问题描述： 有个同学跟我反映问题，spark运行中，job一直在执行中，executor,driver都在跑，没有任何异常， 正常是很快跑完，但跑10min都动不动，很奇怪，让我帮忙看看 原因分析： 碰到问题，处理问题思路： 1.先确定driver,executor是否正常，从页面看，是正常 2.看看任务在做什么，看看executor的task在干忙什么，通过executor tab把正常运行任务的task对应e
    SparkSQL操作Hive
    学亮编程手记
    05-12 2106
    title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说.
    HIve，Spark性能优化
    weixin_44685655的博客
    09-22 1226
    HIve，Spark性能优化 HIve 性能优化 一：map阶段的优化：主要是控制hive任务中的map数量，确定合适的map数，以及每个map处理的合适的数据量 1.适当减少map数的情况：当任务中有许多的小文件，产生很多map，一个map任务的启动时间和初始化时间远远大于逻辑处理的事件，造成资源的浪费。 合并方法如下： set mapred.max.split.size=100000000;/...
    hive_spark_优化
    a505646331的博客
    07-06 227
    优化
    hive,spark sql优化
    ronaldo-liu的博客
    11-06 1994
    一.hive sql优化 1.发生数据倾斜，如何解决？ 什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 1.1 原因 1)、key分布不均匀 2)、业务数据本身的特性 3)、建表时考虑不周 4)、某些SQL语句本身就有数据倾斜 1.2 表现 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其...
    Hive性能优化（全面）
    weixin_34342905的博客
    02-05 1592
    Hive性能优化（全面） 2018-02-02Hadoop大数据应用 1.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时...
    spark sql hive小文件优化
    花花公子
    03-22 5651
    sparksession.sqlContext.setConf("hive.merge.mapfiles","true") sparksession.sqlContext.setConf("mapred.max.split.size","256000000") sparksession.sqlContext.setConf("mapred.min.split.size.per.node","192.
    阿里云EMR技术专家 “健身” 浅析Hive/Spark SQL读文件时的输入任务划分
    乔治大哥的博客
    02-24 600
    Hive以及Spark SQL等大数据计算引擎为我们操作存储在HDFS上结构化数据提供了易于上手的SQL接口，大大降低了ETL等操作的门槛，也因此在实际生产中有着广泛的应用。SQL是非过程化语言，我们写SQL的时候并不能控制具体的执行过程，它们依赖执行引擎决定。而Hive和Spark SQL作为Map-Reduce模型的分布式执行引擎，其执行过程首先就涉及到如何将输入数据切分成一个个任务，分配给不...
    spark sql读取hive底层_原创-spark sql 写入hive较慢优化思路
    weixin_34954140的博客
    12-29 1511
    在《spark sql 写入hive较慢原因分析》中已经分析了spark sql 写入hive分区文件慢的原因，笔者提供几种优化思路供参考：(1)spark 直接生成hive库表底层分区文件，然后再使用add partion语句添加分区信息spark.sql(s"alter table legend.test_log_hive_text add partition (name_par='${dir...
    spark HIve
    09-08
    而Spark是一种快速、通用的集群计算系统，它可以使用内存来加速数据处理任务。Spark Hive通过将Spark与Hive结合使用，可以提供更高效的数据处理能力。 Hive是一个数据仓库，它提供了通过SQL读写和管理分布式存储中...

    “相关推荐”对你有帮助么？

    • 非常没帮助
    • 没帮助
    • 一般
    • 有帮助
    • 非常有帮助
    提交
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值