关注
分享
李国华技术博客
李国华技术博客
展开
-
【云星数据---mesos实战系列002】：mesos全分布式部署实战001--机器准备
零、集群规划我们打算在如下机器上部署mesos，需要保障集群中的机器能访问外网。为了方便安装，我们采用yum的方式进行安装。如果需要可以自行编译 bigdata03 master bigdata04 slave bigdata05 slave一、修改机器信息0.关闭selinux sed -i '/SELINUX/s/enforcing/disab原创 2017-11-09 21:02:11 · 8100 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战005--marathon部署一套pyhton3的web程序
marathon部署一套pyhton3的web程序1.要求：成功部署pyhton3的web程序2.实现：cat python3.json{“id”: “bridged-webapp”, “cmd”: “python3 -m http.server 8080”, “cpus”: 0.5, “mem”: 64.0, “instances”: 2, “container”:原创 2017-11-11 10:19:30 · 7950 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战006--用marathon部署一个ubuntu应用
用marathon部署一个ubuntu应用1.要求：用marathon部署一个ubuntu应用，每一秒向mesos的sandbox输出一次当前时间2.方案：cat ubuntu.json{ "id": "ubuntu-marathon", "instances": 2, "cpus": 0.5, "mem": 256, "uris": [], "cmd": "while tr原创 2017-11-11 10:23:57 · 15599 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战007--marathon部署一个docker register
marathon部署一个docker register1.要求： 成功部署一个docker register 暂时还不能实现重启容器数据不丢,如果要保障重启容器数据不丢失，那就要使用volume进行外部存储。2.实现：cat marathon.json{ "id": "/bigdata-base-services/registry", "cpus": 1, "mem": 256,原创 2017-11-11 10:30:47 · 15652 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战008--marathon部署一套最简单的前端程序
marathon部署一套最简单的前端程序1.要求： 成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下： 说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的docker编译文件，用于打包docker镜原创 2017-11-11 17:56:06 · 7905 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战009--marathon部署一个springboot应用
marathon部署一个springboot应用1.要求：为了实现微服务，我们可以采用springboot的实现方式。因此要部署一个springboot应用。2.实现： 1.实现一个springboot的程序,这部分可以关注本博客的有关springboot的章节 2.将其打包成docker image 并上传到私有镜像 cat DockerflieFROM frolvlad/alp原创 2017-11-11 17:58:52 · 8354 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战008--marathon部署一套最简单的前端程序
marathon部署一套最简单的前端程序1.要求： 成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下： 说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的doc原创 2017-11-11 11:23:45 · 15459 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战004--marathon部署一套Tomcat环境（精简代码版）
marathon部署一套Tomcat环境（精简代码）1.要求： 成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,原创 2017-11-11 19:30:56 · 7939 阅读 · 0 评论 -
【云星数据---mesos实战系列】：marathon实战Constraints篇-001
1.概念Marathon可以通过Constraints来控制其app在何处运行我们可以通过Marathon的REST API或者Marathon gem(marathon client)来设置app的constraints配置。Constraints由三个部分组成：字段名(field name)，操作(operator), 可选参数(optional parameter) 其中字段名(fi原创 2017-12-05 16:39:16 · 857 阅读 · 0 评论 -
【云星数据---mesos实战系列】：marathon实战Constraints篇-002
CLUSTER operatorCLUSTER allows you to run all of your app’s tasks on slaves that share a certain attribute. This is useful for example if you have apps with special hardware needs, or if you want to r原创 2017-12-05 16:45:26 · 715 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战004--marathon部署一套Tomcat环境（精简代码版）
marathon部署一套Tomcat环境（精简代码）1.要求： 成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,原创 2017-11-11 10:14:02 · 8131 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战003--marathon部署一套最简单的Nginx环境
marathon部署一套Nginx环境要求： Marathon有自己的REST API，我们通过API的方式来创建一个Nginx的Docker容器。方案： 首先创建如下的配置文件nginx.jsoncat nginx.json{ "id":"nginx", "cpus":0.2, "mem":32.0, "instances": 1, "constraints原创 2017-11-10 20:52:48 · 8236 阅读 · 0 评论 -
【云星数据---mesos实战系列003】：marathon实战002--marathon部署http版的hello world应用
要求： 用nc命令启动一个HTTP服务方案：1.在各节点上安装netcat,使用这个工具进行测试 yum install nmap-ncat2.在Marathon页面，点击“Create Application”创建任务 cat test002.json { "id": "netcat", "cmd": "while true; do ( echo 'HTTP/1原创 2017-11-10 20:47:59 · 8009 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战002--Java准备
一、Java部署的原因我们想通过mesos来管理Java编写的微服务，因此我们需要安装Java。同时也为后面mesos管理大数据应用提供runtime。所以Java必须安装。二、Java部署的方法下载目录 /cloudstar/software下载jdk wget http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090原创 2017-11-09 21:14:23 · 8126 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战003--zookeeper全分布式部署准备
一、zookeeper部署的原因我们后续想通过zookeeper来实现mesos的master节点的HA(High Available)因此必须安装zookeeper。当然zookeeper在大数据生态圈中作用广泛。像Hadoop，Hbase,spark,kafka,flink等分布式系统都依赖zookeeper来做集群的状态管理。因此zookeeper算是一种基础的组件。二、zookeepe原创 2017-11-09 21:24:49 · 8155 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战004--docker全分布式部署准备
一、docker部署原因为了使用mesos+marathon管理docker微服务，我们需要补水docker。为了简单起见我们还是以yum的方式进行部署。凡是需要运行容器的地方都要部署docker。 bigdata03 master bigdata04 slave bigdata05 slave二、docker部署方法 0.升级 yum -y u原创 2017-11-10 12:32:59 · 8081 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战005--docker-register部署准备
一、docker私有仓库部署原因我们要有一个统一的地方来完成对docker镜像的管理。docker社区提供的docker-register是一个不错的工具。现在我们先尽快的将环境建设起来，如果考虑后续的企业级应用可以考虑使用habor进行替换。敬请关注后续关于habor的文章二、搭建docker私有仓库 1.安装并启动docker yum -y install docker.原创 2017-11-10 12:43:05 · 8026 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战007--mesos集成docker方案
一、让mesos支持docker技术 1.配置所有mesos-slave echo 'docker,mesos' | tee /etc/mesos-slave/containerizers echo 'docker' | tee /etc/mesos-slave/image_providers echo '10mins' > /etc/mesos原创 2017-11-10 17:17:25 · 8182 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战006--mesos全分布式部署方案
一、mesos部署参考链接如下： http://www.linuxidc.com/Linux/2017-03/141478.htm http://www.xuliangwei.com/xubusi/422.html http://www.mamicode.com/info-detail-1948163.html http://www.cnblogs.com/ee900原创 2017-11-10 17:16:20 · 8078 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战008--配置mesos-master和marathon的高可用
一、配置mesos-master和marathon的高可用参考链接http://heqin.blog.51cto.com/8931355/17124261.配置主机名称 bigdata03执行 echo 2 > /etc/mesos-master/quorum echo 10.100.134.3 > /etc/mesos-master/hostname原创 2017-11-10 17:28:30 · 8041 阅读 · 0 评论 -
【云星数据---mesos实战系列002】：mesos全分布式部署实战009--修改marathon的默认端口
一、修改marathon的默认端口因为marathon的默认端口是8080，我们自己的服务端口也是8080因此需要改动，Marathon WebUI默认的端口是8080，修改端口的方法：1.编辑配置文件 编辑命令 vim /etc/default/marathon 添加内容 export HTTP_PORT=8081 export原创 2017-11-10 17:33:13 · 8528 阅读 · 0 评论 -
云星数据---mesos实战系列003】：marathon实战001--使用marathon部署一个最简单的容器服务
一、marathon最简单的hello world应用要求： 部署一个打印语句,输出将在stdout的日志中查看.方案：cat test001.json{ "id": "hello", "cmd": "while [ true ] ; do echo 'Hello Marathon' >> /cloudstar/hello.txt; sleep 1; done", "cpus":原创 2017-11-10 20:42:34 · 8163 阅读 · 0 评论 -
【云星数据---mesos实战系列】：marathon实战Constraints篇-003
GROUP_BY operatorGROUP_BY can be used to distribute tasks evenly across racks or datacenters for high availability.$curl -v -X POST http://192.168.100.30:8080/v2/apps \ -H Content-Type:application/j原创 2017-12-05 16:52:16 · 1523 阅读 · 0 评论