![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
weixin_45515429
这个作者很懒,什么都没留下…
展开
-
IDEA的java编译版本
IntelliJ IDEA的java编译版本,在pom下配置如下内容<!--指定java的编译版本--> <properties> <java.version>1.8</java.version> </properties> <build> <plugins> <plugin> <groupI原创 2021-01-30 09:53:38 · 148 阅读 · 1 评论 -
在线教育
1、HiveUtilpackage com.likang.lixian.utilimport org.apache.spark.sql.SparkSessionobject HiveUtil { /** * 调大最大分区个数 * @param spark * @return */ def setMaxpartitions(spark: SparkSe...原创 2020-04-27 17:47:40 · 183 阅读 · 0 评论 -
1.2 spark调优
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一:最优资源配置Spark性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定,标准的Spark任务提交脚本...原创 2020-04-27 16:18:30 · 207 阅读 · 0 评论 -
Spark SQL 外部数据源
Spark SQL 外部数据源一、简介 1.1 多数据源支持 1.2 读数据格式 1.3 写数据格式二、C...原创 2020-04-26 11:34:05 · 243 阅读 · 1 评论