![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
从一点一滴做起
这个作者很懒,什么都没留下…
展开
-
Linux基本操作命令(hadoop、spark等)
sparkzip -d Spark.jar *.DSA *.SF // 删除spark的jar包中这些后缀的文件(在集群上运行jar包时要删除)yarn logs -applicationId application_Id > log // 下载spark运行的日志文件vim log // 查看日志yarn application -kill // 删除spa...原创 2019-05-08 10:43:47 · 958 阅读 · 0 评论 -
Spark提交命令和参数调优
参数意义和参考值:1.num-executors 线程数:一般设置在50-100之间,必须设置,不然默认启动的executor非常少,不能充分利用集群资源,运行速度慢2.executor-memory 线程内存:参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存,申请的资源最好不要超过最大内存的1/3-1/23.executor-cores...原创 2019-05-08 10:52:13 · 6239 阅读 · 0 评论 -
Storm提交命令和查看日志
storm jar a.jar com.practice practice.conf // 运行jar包cd /hadoop/apache-storm-1/logs/workers-artifacts/UI界面的Id// 查看日志原创 2019-05-08 10:58:26 · 3694 阅读 · 0 评论