spark -运行

最新推荐文章于 2024-07-24 08:30:24 发布

fangwc

最新推荐文章于 2024-07-24 08:30:24 发布

阅读量717

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/fangwc/article/details/52457335

版权

spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1. C:\Users\lenovo\.ivy2\cache 文件被cache覆盖

2. 在intelij中导入swordfish.tar.gz 工程

3. 在src/main/scala 下新建object类

3. 在sbt-console中运行package命令

4. 上传至服务器用类似：

/home/jay/local/spark-1.6.1/bin/spark-submit --master yarn --queue zampda_job --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=16 --conf spark.dynamicAllocation.maxExecutors=128 --conf spark.shuffle.service.enabled=true --conf spark.locality.wait=15s --executor-memory 3500M --class com.zamplus.brain.tasks.autobidding.WinFold swordfish_2.10-1.0.jar 20160810 20160810

执行