- 博客(3)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
原创 SPARK提交job的几种模式
spark常见的提交方式,有local的,有yarn-client,yarn-cluster等,下面来具体的介绍怎么写提交的脚本
2017-10-31 11:52:43 2543
原创 spark性能调优都有哪些方法
1、常规性能调优:分配资源、并行度。。。等 2、JVM调优(Java虚拟机):JVM相关的参数,通常情况下,如果你的硬件配置、基础的JVM的配置,都ok的话,JVM通常不会造成太严重的性能问题;反而更多的是,在troubleshooting中,JVM占了很重要的地位;JVM造成线上的spark作业的运行报错,甚至失败(比如OOM)。 3、shuffle调优(相当重要):spark在执行grou
2017-10-30 15:24:15 1408
原创 flume通过公网ip采集到hdfs上
需求描述: 公司的服务器在不同的地市都有分布,需要把不同地方的服务器的日志文件都收集到公司的内网hadoop集群中,来进行分析,(公司的hadoop集群和其他地方的集群不在同一内网中,需要借助公网来进行传输) 简单的模型图如下 失败案例: 直接把公网IP放在了hadoop集群的nn(namenode上面),模型如下: 然后启动flume往hdfs上面传输日志文件,发现flume端一直抛
2017-10-09 13:36:52 1743 2
servlet读取jsp中的file内容
2016-08-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人