自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 资源 (2)
  • 收藏
  • 关注

原创 ansible自动化运维工具的安装与使用

运行环境 centOS6.6ansibleansible的功能还是比较多的,博主只用它在集群上进行批量部署软件和维护的功能,其他不多做研究,有需要的话这篇文章会慢慢补充。ansible特点轻量级,无需在客户端安装agent,更新时,只需在操作机上进行一次更新即可;批量任务执行可以写成脚本,而且不用分发到远程就可以执行;使用python编写,维护更简单,ruby语法过于复杂;支持sudo。

2015-07-30 19:23:02 1623 2

原创 spark on mesos 两种运行模式

spark在mesos上有粗粒度(coarse-grained)和细粒度(fine-grained)两种运行模式。细粒度模式spark默认运行的就是细粒度模式,在这种模式下,spark和其他frameworks以非常细粒度的运行在同一个集群中,每个application可以根据任务运行的情况在运行过程中动态的获得更多或更少的资源(mesos动态资源分配),但是这会在每个task启动的时候增加一些额外

2015-07-28 14:27:19 4661

原创 mesos资源动态分配测试

测试集群配置: 60CPU,320G RAM测试内容非常的简单,先运行一个需要60CPU的Application1,再运行一个需要50CPU的Application2。结果分析: 1. 如果要等Application1全部执行完才执行Application2,说明资源是静态分配的(standalone模式就是静态分配)。 2. 如果Application1执行完部分task,释放出了空闲的cp

2015-07-27 19:43:33 2090

原创 mesos概述

Mesos概述

2015-07-27 16:28:34 10834 1

原创 Spark on Mesos部署

Spark on Mesos部署

2015-07-22 19:19:42 5902

spark_prometheus_metrics.json

博客https://blog.csdn.net/lsshlsw/article/details/82670508 spark_prometheus_metrics.json

2018-09-13

scala for spark

因为spark是用scala编写的,这里做了点总结,方便看spark源码。

2014-09-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除