转载
大数据sxt
这个作者很懒,什么都没留下…
展开
-
spark-submit 提交任务及参数说明
spark-submit 可以提交任务到 spark 集群执行,也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子,部署 spark standalone 模式后,提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py...转载 2019-02-16 22:11:58 · 308 阅读 · 0 评论 -
Spark中yarn模式两种提交任务方式
一、前述 Spark可以和Yarn整合,将Application提交到Yarn上运行,和StandAlone提交模式一样,Yarn也有两种提交任务的方式。 二、具体 1、yarn-client提交任务方式 配置 在client节点配置中spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务,具体步骤如下: ...转载 2019-02-16 22:08:07 · 170 阅读 · 0 评论 -
Hive SQL的优化
十一、Hive SQL的优化 本章只是从HQL层面介绍一下,日常开发HQL中需要注意的一些优化点,不涉及Hadoop层面的参数、配置等优化。 其中大部分是我之前发过的博客文章,这里整理了下。 11.1 使用分区剪裁、列剪裁 在SELECT中,只拿需要的列,如果有,尽量使用分区过滤,少用SELECT *。 在分区剪裁中,当使用外关联时,如果将副表的过滤条件写在Where后面,那么就会...转载 2019-02-16 21:44:14 · 263 阅读 · 0 评论