云星数据-http://www.cloud-star.com.cn

零、集群规划我们打算在如下机器上部署mesos，需要保障集群中的机器能访问外网。为了方便安装，我们采用yum的方式进行安装。如果需要可以自行编译 bigdata03 master bigdata04 slave bigdata05 slave一、修改机器信息0.关闭selinux sed -i '/SELINUX/s/enforcing/disab

marathon部署一套pyhton3的web程序1.要求：成功部署pyhton3的web程序2.实现：cat python3.json{“id”: “bridged-webapp”, “cmd”: “python3 -m http.server 8080”, “cpus”: 0.5, “mem”: 64.0, “instances”: 2, “container”:

用marathon部署一个ubuntu应用1.要求：用marathon部署一个ubuntu应用，每一秒向mesos的sandbox输出一次当前时间2.方案：cat ubuntu.json{ "id": "ubuntu-marathon", "instances": 2, "cpus": 0.5, "mem": 256, "uris": [], "cmd": "while tr

marathon部署一个docker register1.要求： 成功部署一个docker register 暂时还不能实现重启容器数据不丢,如果要保障重启容器数据不丢失，那就要使用volume进行外部存储。2.实现：cat marathon.json{ "id": "/bigdata-base-services/registry", "cpus": 1, "mem": 256,

marathon部署一套最简单的前端程序1.要求： 成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下： 说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的docker编译文件，用于打包docker镜

marathon部署一个springboot应用1.要求：为了实现微服务，我们可以采用springboot的实现方式。因此要部署一个springboot应用。2.实现： 1.实现一个springboot的程序,这部分可以关注本博客的有关springboot的章节 2.将其打包成docker image 并上传到私有镜像 cat DockerflieFROM frolvlad/alp

marathon部署一套最简单的前端程序1.要求： 成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下： 说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的doc

marathon部署一套Tomcat环境（精简代码）1.要求： 成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,

1.概念Marathon可以通过Constraints来控制其app在何处运行我们可以通过Marathon的REST API或者Marathon gem(marathon client)来设置app的constraints配置。Constraints由三个部分组成：字段名(field name)，操作(operator), 可选参数(optional parameter) 其中字段名(fi

CLUSTER operatorCLUSTER allows you to run all of your app’s tasks on slaves that share a certain attribute. This is useful for example if you have apps with special hardware needs, or if you want to r

marathon部署一套Tomcat环境（精简代码）1.要求： 成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,

marathon部署一套Nginx环境要求： Marathon有自己的REST API，我们通过API的方式来创建一个Nginx的Docker容器。方案： 首先创建如下的配置文件nginx.jsoncat nginx.json{ "id":"nginx", "cpus":0.2, "mem":32.0, "instances": 1, "constraints

要求： 用nc命令启动一个HTTP服务方案：1.在各节点上安装netcat,使用这个工具进行测试 yum install nmap-ncat2.在Marathon页面，点击“Create Application”创建任务 cat test002.json { "id": "netcat", "cmd": "while true; do ( echo 'HTTP/1

一、Java部署的原因我们想通过mesos来管理Java编写的微服务，因此我们需要安装Java。同时也为后面mesos管理大数据应用提供runtime。所以Java必须安装。二、Java部署的方法下载目录 /cloudstar/software下载jdk wget http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090

一、zookeeper部署的原因我们后续想通过zookeeper来实现mesos的master节点的HA(High Available)因此必须安装zookeeper。当然zookeeper在大数据生态圈中作用广泛。像Hadoop，Hbase,spark,kafka,flink等分布式系统都依赖zookeeper来做集群的状态管理。因此zookeeper算是一种基础的组件。二、zookeepe

一、docker部署原因为了使用mesos+marathon管理docker微服务，我们需要补水docker。为了简单起见我们还是以yum的方式进行部署。凡是需要运行容器的地方都要部署docker。 bigdata03 master bigdata04 slave bigdata05 slave二、docker部署方法 0.升级 yum -y u

一、docker私有仓库部署原因我们要有一个统一的地方来完成对docker镜像的管理。docker社区提供的docker-register是一个不错的工具。现在我们先尽快的将环境建设起来，如果考虑后续的企业级应用可以考虑使用habor进行替换。敬请关注后续关于habor的文章二、搭建docker私有仓库 1.安装并启动docker yum -y install docker.

一、让mesos支持docker技术 1.配置所有mesos-slave echo 'docker,mesos' | tee /etc/mesos-slave/containerizers echo 'docker' | tee /etc/mesos-slave/image_providers echo '10mins' > /etc/mesos

一、mesos部署参考链接如下： http://www.linuxidc.com/Linux/2017-03/141478.htm http://www.xuliangwei.com/xubusi/422.html http://www.mamicode.com/info-detail-1948163.html http://www.cnblogs.com/ee900

一、配置mesos-master和marathon的高可用参考链接http://heqin.blog.51cto.com/8931355/17124261.配置主机名称 bigdata03执行 echo 2 > /etc/mesos-master/quorum echo 10.100.134.3 > /etc/mesos-master/hostname

一、修改marathon的默认端口因为marathon的默认端口是8080，我们自己的服务端口也是8080因此需要改动，Marathon WebUI默认的端口是8080，修改端口的方法：1.编辑配置文件 编辑命令 vim /etc/default/marathon 添加内容 export HTTP_PORT=8081 export

一、marathon最简单的hello world应用要求： 部署一个打印语句,输出将在stdout的日志中查看.方案：cat test001.json{ "id": "hello", "cmd": "while [ true ] ; do echo 'Hello Marathon' >> /cloudstar/hello.txt; sleep 1; done", "cpus":

GROUP_BY operatorGROUP_BY can be used to distribute tasks evenly across racks or datacenters for high availability.$curl -v -X POST http://192.168.100.30:8080/v2/apps \ -H Content-Type:application/j