sparklaunch提交任务自定义控制台输出

最新推荐文章于 2023-09-15 16:27:41 发布
最新推荐文章于 2023-09-15 16:27:41 发布
阅读量1.1k 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s1336442293/article/details/105712275
版权

sparklaunch提交任务自定义控制台输出

SparkLauncher是spark用于提交spark作业的一个api，SparkLauncher提交作业也是根据输入的参数创建相应的spark-submit命令来提交作业
在这里插入图片描述
SparkLauncher默认使用OutputRedirector输出命令执行情况，该类是一个私有类，SparkLauncher并没有提供相应的支持接口来重定向打印信息。所以要先把OutputRedirector定义为共有得，然后继承该类，重写方法
在这里插入图片描述
我创建一个websocket用来发送日志得，可以用作bs架构和cs架构中，多源推送打印信息。
在这里插入图片描述
然后把输出结果重定向到自定义得类，在启动Sp

最低0.47元/天 解锁文章
吃俺一记意大利炮
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
js控制台输出的方法(详解)
11-26
console.log(object[, object, …]) 在控制台输出一条消息。如果有多个参数，输出时会用空格隔开这些参数。 第一个参数可以是一个包含格式化占位符输出的字符串，例如： console.log(“The %s jumped over %d tall buildings”, animal, count); 上面的例子可以用下面的无格式化占位符输出的代码替换： console.log(“The”, animal, “jumped over”, count, “tall buildings”); 并且，这两种方式是可以组合使用的。如果使用了格式化占位符，而提供的参数的个数多于占
在Windows下程序通过SparkLauncher执行Spark应用好多坑
Shion's bla bla blog
01-05 3626
咱需要的是任务能自动运行，可别每次都手动命令来提交Spark应用啊！
SparkLaunch提交Spark任务到Yarn集群
Nice的博客
01-02 2331
SparkLaunch提交Spark任务到Yarn集群
Spark通过Spark-launcher（JavaApi）提交任务到yarn集群
clearlxj的博客
09-30 1889
通过spark-launcher提交 public void crateBatchTaskByLauncher() throws Exception { SparkApplicationParam sparkAppParams = new SparkApplicationParam(); sparkAppParams.setJarPath("/home/bd/SPARK/spark-test-1.0.0.jar"); sparkAppParams.setMainClass("com
spark 程序配置日志级别 通过log4j
chixushuchu的博客
11-11 1215
spark 如何配置日志打印级别 Log4j.properties文件 1、spark自身的打印级别 首先明白如何设置spark本身的日志级别 Edit yourconf/log4j.propertiesfile and change the following line: log4j.rootCategory=INFO, console to log4j.rootCateg...
【Spark问题记录】抑制spark在控制台输出的日志，使用log4j.properties不生效
最新发布
RAMBLERS_的博客
09-15 519
由于有部分配置显示的是灰色，所以考虑是文件没有生效，在尝试了将log4j.properties改名到log4j.propertie再改回log4j.properties后发现配置信息都能显示成橙色，再次运行程序，发现日志信息已经不会显示了。但是在文件中，只有前5行是橙色的，其他的都是灰色的，是不是意味着灰色部分的设置没有起作用？为了抑制spark程序运行时在控制台输出的大量日志信息,我在main目录下的resources创建了。
IntelliJ IDEA 安装 Grep Console插件 自定义控制台输出多颜色格式功能
08-19
由于Intellij idea不支持显示ascii颜色，grep-console插件能很好的解决这个问题，下面就以开发JavaEE项目中，结合Log4j配置多颜色日志输出功能，感兴趣的朋友一起看看吧
ThinkPHP浏览器控制台输出内容
03-16
ThinkPHP3.2.3利用行为扩展，实现浏览器控制台输出数据。 文件夹一共3个文件。 1.Behavior 请放在 Application\Common 下 2.function.php 请放在 Application\Common\Common 下 3.tags.php 请放在 ...
VB6控制台输入输出
07-26
本源码为 VB6 以控制台或 cmd.exe 窗口方式显示和接受输入文字，在用批处理调用时可直接在 cmd.exe 窗口输出文字显示并可获取键盘输入到程序内处理。同时还支持输出文字颜色和背景颜色以及标题栏文字的设置，给您不...
对Python捕获控制台输出流的方法详解
12-25
有时候我们的代码里可能要调用控制台命令，比如我想用Python写一个批量编译 .java 文件的脚本，用到如下代码 常规用法 os.system import os,traceback try: p = os.system("javac Test.java") print p ...
SparkLauncher Java API提交Spark使用
liaonanfeng88的CSDN博客
07-06 1673
@Value("${spark.master:local}") private String master; @Value("${spark.deployMode:client}") private String deployMode; @Value("${spark.sparkHome:.}") private String sparkHome; @Value("${spark.appName:datagovernance}") pr...
spark任务提交之SparkLauncher
weixin_30655219的博客
12-03 2430
最近需要做一个UI，在UI上做一个可以提交的spark程序的功能； 1-zeppelin就是这样的一个工具，其内部也是比较繁琐的。有兴趣的可以了解下。 2-SparkLauncher，spark自带的类 linux下其基本用法： public static void main(String[] args) throws Exception { HashMap&...
spark-submit动态提交的办法（SparkLauncher实战）
大数据挖掘SparkExpert的博客
04-02 9505
spark程序编译完成后，一般都要传送到spark-submit进行调用。 然而为了使程序更加易于集成，需要spark-submit能够动态化 SparkLauncher是spark提供的外部调用的接口。 Package org.apache.spark.launcher Description Library for launching Spark applica
使用SparkLauncher提交Spark作业
02-25 1460
通常情况下，使用spark-submit来提交作业。 是否有办法使用代码动态地提交作业? 本文使用SparkLauncher提供了一种解决方法。 提交Spark Application val handle: SparkAppHandle = newSparkLauncher() .setSparkHome("/path/to/spark/home") .setAppResource("/path...
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 8552
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
Spark任务中Task数量确定和一些总结
小末的博客
07-20 4487
Spark任务中Task数量如何确定？
【spark-shell本地启动报java错误】本地windows安装spark在控制台输入spark-shell出错：StringIndexOutOf Bounds Exception
gdhbc的博客
05-28 799
前提：本地java、hadoop已经安装好，但本地cmd启动spark-shell报出下面错误，我的配置是hadoop2.7、spark-2.3.1。 提示:没有配置好hadoop、spark(两者版本有联系，有对应)请先在本地安装好hadoop、spark。 出错原因：本地java版本过高. 处理方法：降低java版本到java8。如果不想影响你之前的java环境配置，你可以在本地多安一个java，想用哪个就到环境变量里面修改路径即可。 java8百度云资源： 链接: https://pan.b
sparkLauncher记录(spark-2.2.0)
weixin_30839881的博客
01-30 548
sparkLauncher 代码记录 1.概述 sparkLauncher 是一个在代码里提交spark任务的类 这个类底层使用的依然是spark-submit脚本进行提交，通过ProcessBuilder 来设置相关环境参数调用 主要的方法有下面几个 launch 提交一个任务，任务的提交输出结果如何由用户自己处理 cr...
python控制台输出
05-10
Python控制台输出指的是在Python解释器中执行代码后，程序在控制台上输出的结果。常见的Python控制台输出方式有两种： 1. print()函数：可以将文本、变量、表达式等输出到控制台上。 例如，输出文本“Hello World...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值