![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 69
kylinJin
2015年只争朝夕
展开
-
Spark写入数据到MySQL
Spark写入数据到MySQL原创 2015-03-14 22:47:07 · 5186 阅读 · 0 评论 -
提交spark应用程序spark-submit
做好笔记,是对自己的工作的负责。我一般就是把提交命令写到shell脚本里面去,类似如下:这几个参数用过的人都看得懂,还是有几点要注意的:关于executor-memory和cores,不要超出集群和每个单机的极限,8080(默认)界面能看到能使用的memory,cores等。然后就是一个大小关系:SPARK_EXECUTOR_MEMORY 不然运行的时候可能出现这两原创 2015-05-31 19:08:51 · 841 阅读 · 0 评论