![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
无声---
这个作者很懒,什么都没留下…
展开
-
spark常用参数
本文介绍一些实际工作中常用的一些参数。spark版本:spark3.3.1。原创 2022-11-09 15:09:11 · 875 阅读 · 1 评论 -
替换……M
sed -i ‘s/\r$//’ test.sh原创 2021-04-26 14:47:22 · 121 阅读 · 0 评论 -
spark log4j.properties
log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m原创 2021-04-10 20:25:24 · 448 阅读 · 0 评论 -
Spark读写数据(文本、Object、SequenceFile、Hbase)
【代码】Spark读写数据(文本、Object、SequenceFile、Hbase)原创 2020-12-04 19:59:46 · 547 阅读 · 0 评论 -
Spark YARN cluster 模式 工作流程
Cluster模式将用于监控和调度的Driver模块启动在Yarn集群资源中执行 1.在YARN Cluster模式下,任务提交后会和ResourceManager通讯申请启动ApplicationMaster, 2.随后ResourceManager分配container,在合适的NodeManager上启动ApplicationMaster,此时的ApplicationMaster就是Driver。 3.Driver启动后向ResourceManager申请Executor内存,ResourceMan.原创 2020-12-03 14:22:40 · 498 阅读 · 2 评论 -
Spark算子使用大集合
Spark算子使用大集合 package com.atguigu.sparkTest.RDDS import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.shell.Command import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.spark.rdd.RDD import org.apache.spark.{HashPartitioner, P原创 2020-12-02 19:48:53 · 178 阅读 · 0 评论