- 博客(3)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 SPARK提交job的几种模式
spark常见的提交方式，有local的，有yarn-client，yarn-cluster等，下面来具体的介绍怎么写提交的脚本
2017-10-31 11:52:43
2543
原创 spark性能调优都有哪些方法
1、常规性能调优：分配资源、并行度。。。等2、JVM调优（Java虚拟机）：JVM相关的参数，通常情况下，如果你的硬件配置、基础的JVM的配置，都ok的话，JVM通常不会造成太严重的性能问题；反而更多的是，在troubleshooting中，JVM占了很重要的地位；JVM造成线上的spark作业的运行报错，甚至失败（比如OOM）。3、shuffle调优（相当重要）：spark在执行grou
2017-10-30 15:24:15
1408
原创 flume通过公网ip采集到hdfs上
需求描述： 公司的服务器在不同的地市都有分布，需要把不同地方的服务器的日志文件都收集到公司的内网hadoop集群中，来进行分析，（公司的hadoop集群和其他地方的集群不在同一内网中，需要借助公网来进行传输） 简单的模型图如下 失败案例： 直接把公网IP放在了hadoop集群的nn（namenode上面），模型如下： 然后启动flume往hdfs上面传输日志文件，发现flume端一直抛
2017-10-09 13:36:52
1743
2
servlet读取jsp中的file内容
2016-08-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人