云星数据-http://www.cloud-star.com.cn

【云星数据—大数据部集群署系列002】：Java部署方案1.创建目录ssh bigdata002 'mkdir -p /cloudstar/software/'ssh bigdata003 'mkdir -p /cloudstar/software/'ssh bigdata004 'mkdir -p /cloudstar/software/'ssh bigdata005 'mkdir -p /

1.下载并解压scalawget https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgztar -zxvf scala-2.10.6.tgz2.配置环境变量 vim ~/.bashrc 配置如下内容： export SCALA_HOME=/cloudstar/software/scala-2.10.6

1. bigdata001上安装ZOOKEEPER：(在 bigdata001:/cloudstar/software 目录下执行) ZooKeeper服务器集群概述 A.ZooKeeper简介 zk可以用来保证数据在zk集群之间的数据的事务性一致。 zk传递的数据非常小，一般小于2M B.zook

一、规划和策略在bigdata001上配置，而后同步到其他机器上。 bigdata001 master bigdata002 master bigdata003 slave bigdata004 slave bigdata005 slave二、下载,解压，分发hadoop下载 wget http://mirror.bit.e

【云星数据—大数据部集群署系列007】：Zeppelin0.7.3多环境部署方案Zeppelin介绍Zeppelin是一个基于web的笔记本，支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。(类似于ipython notebook，可以直接在浏览器中写代码、笔记并共享。支持多种语言，默认是scala(背后是spark shell)，SparkSQL, Markdo

一、规划和策略策略： 在bigdata6上安装，然后分发到其他机器 规划 集群一(保障各个节点上的Scala已经安装完成) master port 8888 znode /spark bigdata001 master bigdata002 master bigdata001 worker

一、Alluxio简介1.没有Alluxio大数据生态圈的现状1.大数据生态圈中存在大量的计算引擎和应用程序，比如spark，MapReduce,Flink等。2.大数据生态圈中也存在大量的存储引擎，比如HDFS,S3,Swift,GFS等。3.计算引擎要访问存储引擎中的数据，就形成大量的连接信息。规范接口都不统一。2.Alluxio在大数据生态圈的地位 1.Alluxio是计算引擎和存储引

1.alluxio命令行说明1.全路径使用方式$ALLUXIO_HOME/bin/alluxio fs ls -R alluxio://qingcheng11:19998/input/2.短路径使用方式$ALLUXIO_HOME/bin/alluxio fs ls -R /input/3.通配符使用方式3.1以input目录下spar开头的所有文件$ALLUXIO_HOME/bin/allu

第一部分：flink概况一、flink简介 1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache So

第一部分：flink概况一、flink简介 1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache So

零、集群规划我们打算在如下机器上部署mesos，需要保障集群中的机器能访问外网。为了方便安装，我们采用yum的方式进行安装。如果需要可以自行编译 bigdata03 master bigdata04 slave bigdata05 slave一、修改机器信息0.关闭selinux sed -i '/SELINUX/s/enforcing/disab

一、Java部署的原因我们想通过mesos来管理Java编写的微服务，因此我们需要安装Java。同时也为后面mesos管理大数据应用提供runtime。所以Java必须安装。二、Java部署的方法下载目录 /cloudstar/software下载jdk wget http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090

一、zookeeper部署的原因我们后续想通过zookeeper来实现mesos的master节点的HA(High Available)因此必须安装zookeeper。当然zookeeper在大数据生态圈中作用广泛。像Hadoop，Hbase,spark,kafka,flink等分布式系统都依赖zookeeper来做集群的状态管理。因此zookeeper算是一种基础的组件。二、zookeepe

一、配置支持键值对存储alluxio支持键值对存储的机制。默认没有开启，需要自己去开启1.测试是否开启键值对存储1.测试命令./bin/alluxio runKVTest2.回显如下Alluxio key value service is disabled. To run this test, please set alluxio.keyvalue.enabledto be true and

一、alluxio编程API概述alluxio为我们提供了两种编程API。1.为了更好的性能，它提供了原生的JavaAPI.2.为了兼容Hadoop代码它提供了HadoopAPI。二、alluxio本地运行及数据准备由于JavaAPI在开发时在本地，它默认会连接本地alluxio,所以在开发时，建议启动本地alluxio.1.启动本地alluxio1.生成本地配置文件./bin/alluxio

一、docker部署原因为了使用mesos+marathon管理docker微服务，我们需要补水docker。为了简单起见我们还是以yum的方式进行部署。凡是需要运行容器的地方都要部署docker。 bigdata03 master bigdata04 slave bigdata05 slave二、docker部署方法 0.升级 yum -y u

一、docker私有仓库部署原因我们要有一个统一的地方来完成对docker镜像的管理。docker社区提供的docker-register是一个不错的工具。现在我们先尽快的将环境建设起来，如果考虑后续的企业级应用可以考虑使用habor进行替换。敬请关注后续关于habor的文章二、搭建docker私有仓库 1.安装并启动docker yum -y install docker.

一、让mesos支持docker技术 1.配置所有mesos-slave echo 'docker,mesos' | tee /etc/mesos-slave/containerizers echo 'docker' | tee /etc/mesos-slave/image_providers echo '10mins' > /etc/mesos

一、mesos部署参考链接如下： http://www.linuxidc.com/Linux/2017-03/141478.htm http://www.xuliangwei.com/xubusi/422.html http://www.mamicode.com/info-detail-1948163.html http://www.cnblogs.com/ee900

一、配置mesos-master和marathon的高可用参考链接http://heqin.blog.51cto.com/8931355/17124261.配置主机名称 bigdata03执行 echo 2 > /etc/mesos-master/quorum echo 10.100.134.3 > /etc/mesos-master/hostname

一、修改marathon的默认端口因为marathon的默认端口是8080，我们自己的服务端口也是8080因此需要改动，Marathon WebUI默认的端口是8080，修改端口的方法：1.编辑配置文件 编辑命令 vim /etc/default/marathon 添加内容 export HTTP_PORT=8081 export

一、marathon最简单的hello world应用要求： 部署一个打印语句,输出将在stdout的日志中查看.方案：cat test001.json{ "id": "hello", "cmd": "while [ true ] ; do echo 'Hello Marathon' >> /cloudstar/hello.txt; sleep 1; done", "cpus":

要求： 用nc命令启动一个HTTP服务方案：1.在各节点上安装netcat,使用这个工具进行测试 yum install nmap-ncat2.在Marathon页面，点击“Create Application”创建任务 cat test002.json { "id": "netcat", "cmd": "while true; do ( echo 'HTTP/1

marathon部署一套Nginx环境要求： Marathon有自己的REST API，我们通过API的方式来创建一个Nginx的Docker容器。方案： 首先创建如下的配置文件nginx.jsoncat nginx.json{ "id":"nginx", "cpus":0.2, "mem":32.0, "instances": 1, "constraints

marathon部署一套Tomcat环境（精简代码）1.要求： 成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,

marathon部署一套pyhton3的web程序1.要求：成功部署pyhton3的web程序2.实现：cat python3.json{“id”: “bridged-webapp”, “cmd”: “python3 -m http.server 8080”, “cpus”: 0.5, “mem”: 64.0, “instances”: 2, “container”:

用marathon部署一个ubuntu应用1.要求：用marathon部署一个ubuntu应用，每一秒向mesos的sandbox输出一次当前时间2.方案：cat ubuntu.json{ "id": "ubuntu-marathon", "instances": 2, "cpus": 0.5, "mem": 256, "uris": [], "cmd": "while tr

marathon部署一个docker register1.要求： 成功部署一个docker register 暂时还不能实现重启容器数据不丢,如果要保障重启容器数据不丢失，那就要使用volume进行外部存储。2.实现：cat marathon.json{ "id": "/bigdata-base-services/registry", "cpus": 1, "mem": 256,

marathon部署一套最简单的前端程序1.要求： 成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下： 说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的docker编译文件，用于打包docker镜

marathon部署一个springboot应用1.要求：为了实现微服务，我们可以采用springboot的实现方式。因此要部署一个springboot应用。2.实现： 1.实现一个springboot的程序,这部分可以关注本博客的有关springboot的章节 2.将其打包成docker image 并上传到私有镜像 cat DockerflieFROM frolvlad/alp

marathon部署一套最简单的前端程序1.要求： 成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下： 说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的doc

marathon部署一套Tomcat环境（精简代码）1.要求： 成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,

第一部分：flink概况一、flink简介1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache Sof

第二部分：flink的特性一、流处理特性1.高吞吐，低延时有图有真相，有比较有差距。且看下图： 1.flink的吞吐量大2.flink的延时低3.flink的配置少2.支持Event-Time 和乱序-Event1.flink支持流处理2.flink支持在Event-Time上的窗口处理3.因为有Event-Time做保障，即使消息乱序或延时也能轻松应对。3.支持Stateful-data

二、流处理，批处理珠联璧合1.同一个运行时环境，同时支持流处理，批处理1.flink的一套runtime环境，统一了流处理，批处理，两大业务场景2.flink本质是一个流处理系统，同时它将批处理看出特殊的流处理，因此也能应付批处理的场景注意：1.这与spark相反，spark本质是一个批处理系统，它将流处理看成特殊的批处理的。2.spark-streaming本质是mirc-batch，无论多

三、类库和API1.流处理程序flink的 DataStream API在流处理的业务场景下，支持多种数据转换，支持用户自定义状态的操作，支持灵活的窗口操作！示例程序： //1.定义case classcase class Word(word: String, freq: Long)//2.定义数据源val texts: DataStream[String] = ...//3.支持数据的流操

四、flink的生态系统flink和开源大数据处理的各种框架有很好的集成,这样它就能和其他框架密切合作形成大数据的统一的解决方案。flink支持YARN,HDFS,Kafka,hbase,alluxio等其他大数据系统的集成。flink生态系统flink也积极融入到大数据生态圈和现有的大数据处理方案继续良好的融合，以降低大数据开发的难度。spark生态系统flink的生态系统和spark很相似，他

一、flink软件包的下载与解压1.下载并分发flink1.官方网站http://flink.apache.org2.下载页面http://flink.apache.org/downloads.html3.下载地址http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.1.3/flink-1.1.3-bin-hadoop27-scala

二、flink在standalone模式主节点下无HA的部署实战1.部署规划：2.配置flink-conf.yaml文件vim ${FLINK_HOME}/conf/flink-conf.yaml添加内容：在flink-conf.yaml文件中进行一些基本的配置，本此要修改的内容如下。 # The TaskManagers will try to connect to the JobManager

三、flink第一个程序1.创建文件夹并上传flink的readme文件hadoop fs -mkdir -p /input/flinkhadoop fs -put ${FLINK_HOME}/README.txt /input/flink/执行效果：2.打开start-scala-shell.sh${FLINK_HOME}/bin/start-scala-shell.sh是flink提供的