大数据
文章平均质量分 68
alexander137
见则有,不见则无
展开
-
docker部署hadoop监控prometheus
hadoop是通过docker部署的 ,在docker中添加监控端口和监控进程vi namenode.yamlstartDelaySeconds: 0hostPort: localhost:1234 #1234为想设置的jmx端口(可设置为未被占用的端口)ssl: falselowercaseOutputName: falselowercaseOutputLabelNames: falsevi datanode.yamlstartDelaySeconds: 0hostPor.原创 2021-10-09 10:59:25 · 1985 阅读 · 0 评论 -
远程submit任务到spark(docker)
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法,不过sparkonyarn的集群部署模式不支持http的方式提交任务,所以需要通过远程docker容器通过docker发送spark-submit的指令到spark容器内部,才可在springboot项...原创 2021-10-09 10:27:25 · 1969 阅读 · 0 评论