- 博客(3)
- 资源 (16)
- 收藏
- 关注
原创 spark history server 配置
Spark history server 日志配置,方便查看历史作业信息和日志 主要修改yarn-site.xml 、spark-defaults.conf、spark-env.sh 三个配置文件,具体步骤如下: 1.1 yarn-site.xml 配置(需要重启所有的nodemanager) yarn.log-aggregation-enable
2016-10-27 18:15:00 3420
原创 Spark调优-防止不必要的jar包上传与分发
Spark调优-防止不必要的jar包上传与分发 每个Application都会上传一个spark-assembly-x.x.x-SNAPSHOT-hadoopx.x.x-cdhx.x.x.jar的jar包,影响HDFS的性能以及占用HDFS的空间 对于用户的jar包,有时候体积也非常庞大,我们同样的方式上传hdfs上,然后直接使用。 基于YARN模式验证 bin/spark-submi
2016-10-27 17:49:13 7884
pytorch-flask-api.zip
2019-08-26
word2vec-sentiments-IMDB-Data.zip
2019-07-26
tachyon 介绍
2016-02-18
CDH的安装和使用
2015-12-08
solr搜索引擎-课程文件培训
2014-02-20
solr企业级搜索引擎准备阶段
2013-11-19
积分商城基于Solr搜索引擎PPT
2013-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人