李国华技术博客-CSDN博客

原创【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础002--flink特性：流处理特性介绍

第二部分：flink的特性一、流处理特性1.高吞吐，低延时有图有真相，有比较有差距。且看下图： 1.flink的吞吐量大2.flink的延时低3.flink的配置少2.支持Event-Time 和乱序-Event1.flink支持流处理2.flink支持在Event-Time上的窗口处理3.因为有Event-Time做保障，即使消息乱序或延时也能轻松应对。3.支持Stateful-data

2017-11-12 13:17:13 7707

原创【云星数据---Apache Flink实战系列(精品版)】：Flink基础--001:flink介绍

第一部分：flink概况一、flink简介1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache Sof

2017-11-12 12:34:59 36094 1

原创【云星数据---mesos实战系列003】：marathon实战004--marathon部署一套Tomcat环境（精简代码版）

marathon部署一套Tomcat环境（精简代码）1.要求：成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,

2017-11-11 19:30:56 7950

原创【云星数据---mesos实战系列003】：marathon实战009--marathon部署一个springboot应用

marathon部署一个springboot应用1.要求：为了实现微服务，我们可以采用springboot的实现方式。因此要部署一个springboot应用。2.实现： 1.实现一个springboot的程序,这部分可以关注本博客的有关springboot的章节 2.将其打包成docker image 并上传到私有镜像 cat DockerflieFROM frolvlad/alp

2017-11-11 17:58:52 8386

原创【云星数据---mesos实战系列003】：marathon实战008--marathon部署一套最简单的前端程序

marathon部署一套最简单的前端程序1.要求：成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下：说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的docker编译文件，用于打包docker镜

2017-11-11 17:56:06 7925

原创【云星数据---mesos实战系列003】：marathon实战008--marathon部署一套最简单的前端程序

marathon部署一套最简单的前端程序1.要求：成功部署一个index.html到Nginx.2.实现：1.建立一个最简单的web工程 first-portal，目录结构如下：说明： index.html是主要的入口文件。 images中存储的是index.html中使用的图片（用于测试） Dockerfile是改工程的doc

2017-11-11 11:23:45 15472

原创【云星数据---mesos实战系列003】：marathon实战007--marathon部署一个docker register

marathon部署一个docker register1.要求：成功部署一个docker register 暂时还不能实现重启容器数据不丢,如果要保障重启容器数据不丢失，那就要使用volume进行外部存储。2.实现：cat marathon.json{ "id": "/bigdata-base-services/registry", "cpus": 1, "mem": 256,

2017-11-11 10:30:47 15667

原创【云星数据---mesos实战系列003】：marathon实战006--用marathon部署一个ubuntu应用

用marathon部署一个ubuntu应用1.要求：用marathon部署一个ubuntu应用，每一秒向mesos的sandbox输出一次当前时间2.方案：cat ubuntu.json{ "id": "ubuntu-marathon", "instances": 2, "cpus": 0.5, "mem": 256, "uris": [], "cmd": "while tr

2017-11-11 10:23:57 15611

原创【云星数据---mesos实战系列003】：marathon实战005--marathon部署一套pyhton3的web程序

marathon部署一套pyhton3的web程序1.要求：成功部署pyhton3的web程序2.实现：cat python3.json{“id”: “bridged-webapp”, “cmd”: “python3 -m http.server 8080”, “cpus”: 0.5, “mem”: 64.0, “instances”: 2, “container”:

2017-11-11 10:19:30 7959

原创【云星数据---mesos实战系列003】：marathon实战004--marathon部署一套Tomcat环境（精简代码版）

marathon部署一套Tomcat环境（精简代码）1.要求：成功部署Tomcat,t通过浏览器能够访问Tomcat的页面。目的是测试Tomcat在marathon中的管理方式，为后续微服务做知识探索。2.实现：首先编辑marathon部署所使用的json文件，文件内容如下：cat tomcat.json{ "id": "tomcat", "cpus": 1, "mem": 128,

2017-11-11 10:14:02 8150

原创【云星数据---mesos实战系列003】：marathon实战003--marathon部署一套最简单的Nginx环境

marathon部署一套Nginx环境要求： Marathon有自己的REST API，我们通过API的方式来创建一个Nginx的Docker容器。方案：首先创建如下的配置文件nginx.jsoncat nginx.json{ "id":"nginx", "cpus":0.2, "mem":32.0, "instances": 1, "constraints

2017-11-10 20:52:48 8254

原创【云星数据---mesos实战系列003】：marathon实战002--marathon部署http版的hello world应用

要求：用nc命令启动一个HTTP服务方案：1.在各节点上安装netcat,使用这个工具进行测试 yum install nmap-ncat2.在Marathon页面，点击“Create Application”创建任务 cat test002.json { "id": "netcat", "cmd": "while true; do ( echo 'HTTP/1

2017-11-10 20:47:59 8031

原创云星数据---mesos实战系列003】：marathon实战001--使用marathon部署一个最简单的容器服务

一、marathon最简单的hello world应用要求：部署一个打印语句,输出将在stdout的日志中查看.方案：cat test001.json{ "id": "hello", "cmd": "while [ true ] ; do echo 'Hello Marathon' >> /cloudstar/hello.txt; sleep 1; done", "cpus":

2017-11-10 20:42:34 8177

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战009--修改marathon的默认端口

一、修改marathon的默认端口因为marathon的默认端口是8080，我们自己的服务端口也是8080因此需要改动，Marathon WebUI默认的端口是8080，修改端口的方法：1.编辑配置文件编辑命令 vim /etc/default/marathon 添加内容 export HTTP_PORT=8081 export

2017-11-10 17:33:13 8552

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战008--配置mesos-master和marathon的高可用

一、配置mesos-master和marathon的高可用参考链接http://heqin.blog.51cto.com/8931355/17124261.配置主机名称 bigdata03执行 echo 2 > /etc/mesos-master/quorum echo 10.100.134.3 > /etc/mesos-master/hostname

2017-11-10 17:28:30 8059

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战007--mesos集成docker方案

一、让mesos支持docker技术 1.配置所有mesos-slave echo 'docker,mesos' | tee /etc/mesos-slave/containerizers echo 'docker' | tee /etc/mesos-slave/image_providers echo '10mins' > /etc/mesos

2017-11-10 17:17:25 8200

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战006--mesos全分布式部署方案

一、mesos部署参考链接如下： http://www.linuxidc.com/Linux/2017-03/141478.htm http://www.xuliangwei.com/xubusi/422.html http://www.mamicode.com/info-detail-1948163.html http://www.cnblogs.com/ee900

2017-11-10 17:16:20 8097

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战005--docker-register部署准备

一、docker私有仓库部署原因我们要有一个统一的地方来完成对docker镜像的管理。docker社区提供的docker-register是一个不错的工具。现在我们先尽快的将环境建设起来，如果考虑后续的企业级应用可以考虑使用habor进行替换。敬请关注后续关于habor的文章二、搭建docker私有仓库 1.安装并启动docker yum -y install docker.

2017-11-10 12:43:05 8050

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战004--docker全分布式部署准备

一、docker部署原因为了使用mesos+marathon管理docker微服务，我们需要补水docker。为了简单起见我们还是以yum的方式进行部署。凡是需要运行容器的地方都要部署docker。 bigdata03 master bigdata04 slave bigdata05 slave二、docker部署方法 0.升级 yum -y u

2017-11-10 12:32:59 8096

原创【云星数据---大数据部集群署系列011】：alluxio java API 实战--02键值对API

一、配置支持键值对存储alluxio支持键值对存储的机制。默认没有开启，需要自己去开启1.测试是否开启键值对存储1.测试命令./bin/alluxio runKVTest2.回显如下Alluxio key value service is disabled. To run this test, please set alluxio.keyvalue.enabledto be true and

2017-11-10 12:14:11 7989

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战003--zookeeper全分布式部署准备

一、zookeeper部署的原因我们后续想通过zookeeper来实现mesos的master节点的HA(High Available)因此必须安装zookeeper。当然zookeeper在大数据生态圈中作用广泛。像Hadoop，Hbase,spark,kafka,flink等分布式系统都依赖zookeeper来做集群的状态管理。因此zookeeper算是一种基础的组件。二、zookeepe

2017-11-09 21:24:49 8178

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战002--Java准备

一、Java部署的原因我们想通过mesos来管理Java编写的微服务，因此我们需要安装Java。同时也为后面mesos管理大数据应用提供runtime。所以Java必须安装。二、Java部署的方法下载目录 /cloudstar/software下载jdk wget http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090

2017-11-09 21:14:23 8148

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战001--机器准备

零、集群规划我们打算在如下机器上部署mesos，需要保障集群中的机器能访问外网。为了方便安装，我们采用yum的方式进行安装。如果需要可以自行编译 bigdata03 master bigdata04 slave bigdata05 slave一、修改机器信息0.关闭selinux sed -i '/SELINUX/s/enforcing/disab

2017-11-09 21:02:11 8117

原创【云星数据---flink实战系列001】：flink简介

第一部分：flink概况一、flink简介 1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache So

2017-11-09 15:28:35 5127

原创【云星数据---flink实战系列001】：flink简介

第一部分：flink概况一、flink简介 1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache So

2017-11-09 15:28:16 870

原创【云星数据---大数据部集群署系列011】：alluxio java API 实战--01基本API

一、alluxio编程API概述alluxio为我们提供了两种编程API。1.为了更好的性能，它提供了原生的JavaAPI.2.为了兼容Hadoop代码它提供了HadoopAPI。二、alluxio本地运行及数据准备由于JavaAPI在开发时在本地，它默认会连接本地alluxio,所以在开发时，建议启动本地alluxio.1.启动本地alluxio1.生成本地配置文件./bin/alluxio

2017-11-09 14:04:24 8851

原创【云星数据---大数据部集群署系列010】：alluxio命令行操作概览

1.alluxio命令行说明1.全路径使用方式$ALLUXIO_HOME/bin/alluxio fs ls -R alluxio://qingcheng11:19998/input/2.短路径使用方式$ALLUXIO_HOME/bin/alluxio fs ls -R /input/3.通配符使用方式3.1以input目录下spar开头的所有文件$ALLUXIO_HOME/bin/allu

2017-11-09 14:00:56 8261

原创【云星数据---大数据部集群署系列009】：alluxio全分布式部署方案

一、Alluxio软件包的下载与解压1.下载并分发alluxio1.官方网站http://www.alluxio.org2.下载页面http://www.alluxio.org/download3.下载地址http://downloads.alluxio.org/downloads/files/1.3.0/alluxio-1.3.0-hadoop2.7-bin.tar.gz4.解压命令tar

2017-11-09 12:45:28 17139

原创【云星数据---大数据部集群署系列008】：alluxio概念介绍

一、Alluxio简介1.没有Alluxio大数据生态圈的现状1.大数据生态圈中存在大量的计算引擎和应用程序，比如spark，MapReduce,Flink等。2.大数据生态圈中也存在大量的存储引擎，比如HDFS,S3,Swift,GFS等。3.计算引擎要访问存储引擎中的数据，就形成大量的连接信息。规范接口都不统一。2.Alluxio在大数据生态圈的地位 1.Alluxio是计算引擎和存储引

2017-11-08 17:39:56 1085

原创【云星数据---大数据集群部署系列007】：Zeppelin0.7.3多环境部署方案

【云星数据—大数据部集群署系列007】：Zeppelin0.7.3多环境部署方案Zeppelin介绍Zeppelin是一个基于web的笔记本，支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。(类似于ipython notebook，可以直接在浏览器中写代码、笔记并共享。支持多种语言，默认是scala(背后是spark shell)，SparkSQL, Markdo

2017-11-08 17:11:31 1385

原创【云星数据---大数据集群部署系列006】：spark2.2部署方案

一、规划和策略策略：在bigdata6上安装，然后分发到其他机器规划集群一(保障各个节点上的Scala已经安装完成) master port 8888 znode /spark bigdata001 master bigdata002 master bigdata001 worker

2017-11-08 16:33:36 597

原创【云星数据---大数据部集群署系列005】：hadoop3.0全分布部署方案

一、规划和策略在bigdata001上配置，而后同步到其他机器上。 bigdata001 master bigdata002 master bigdata003 slave bigdata004 slave bigdata005 slave二、下载,解压，分发hadoop下载 wget http://mirror.bit.e

2017-11-08 16:10:53 450

原创【云星数据---大数据部集群署系列004】：zookeeper分布式部署方案

1. bigdata001上安装ZOOKEEPER：(在 bigdata001:/cloudstar/software 目录下执行) ZooKeeper服务器集群概述 A.ZooKeeper简介 zk可以用来保证数据在zk集群之间的数据的事务性一致。 zk传递的数据非常小，一般小于2M B.zook

2017-11-08 15:53:00 386

原创【云星数据---大数据部集群署系列003】：scala部署方案

1.下载并解压scalawget https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgztar -zxvf scala-2.10.6.tgz2.配置环境变量 vim ~/.bashrc 配置如下内容： export SCALA_HOME=/cloudstar/software/scala-2.10.6

2017-11-08 15:44:47 380

原创【云星数据---大数据部集群署系列002】：Java部署方案

【云星数据—大数据部集群署系列002】：Java部署方案1.创建目录ssh bigdata002 'mkdir -p /cloudstar/software/'ssh bigdata003 'mkdir -p /cloudstar/software/'ssh bigdata004 'mkdir -p /cloudstar/software/'ssh bigdata005 'mkdir -p /

2017-11-08 15:37:17 548

云星数据-http://www.cloud-star.com.cn

原创【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础002--flink特性：流处理特性介绍

原创【云星数据---Apache Flink实战系列(精品版)】：Flink基础--001:flink介绍

原创【云星数据---mesos实战系列003】：marathon实战004--marathon部署一套Tomcat环境（精简代码版）

原创【云星数据---mesos实战系列003】：marathon实战009--marathon部署一个springboot应用

原创【云星数据---mesos实战系列003】：marathon实战008--marathon部署一套最简单的前端程序

原创【云星数据---mesos实战系列003】：marathon实战008--marathon部署一套最简单的前端程序

原创【云星数据---mesos实战系列003】：marathon实战007--marathon部署一个docker register

原创【云星数据---mesos实战系列003】：marathon实战006--用marathon部署一个ubuntu应用

原创【云星数据---mesos实战系列003】：marathon实战005--marathon部署一套pyhton3的web程序

原创【云星数据---mesos实战系列003】：marathon实战004--marathon部署一套Tomcat环境（精简代码版）

原创【云星数据---mesos实战系列003】：marathon实战003--marathon部署一套最简单的Nginx环境

原创【云星数据---mesos实战系列003】：marathon实战002--marathon部署http版的hello world应用

原创云星数据---mesos实战系列003】：marathon实战001--使用marathon部署一个最简单的容器服务

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战009--修改marathon的默认端口

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战008--配置mesos-master和marathon的高可用

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战007--mesos集成docker方案

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战006--mesos全分布式部署方案

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战005--docker-register部署准备

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战004--docker全分布式部署准备

原创【云星数据---大数据部集群署系列011】：alluxio java API 实战--02键值对API

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战003--zookeeper全分布式部署准备

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战002--Java准备

原创【云星数据---mesos实战系列002】：mesos全分布式部署实战001--机器准备

原创【云星数据---flink实战系列001】：flink简介

原创【云星数据---flink实战系列001】：flink简介

原创【云星数据---大数据部集群署系列011】：alluxio java API 实战--01基本API

原创【云星数据---大数据部集群署系列010】：alluxio命令行操作概览

原创【云星数据---大数据部集群署系列009】：alluxio全分布式部署方案

原创【云星数据---大数据部集群署系列008】：alluxio概念介绍

原创【云星数据---大数据集群部署系列007】：Zeppelin0.7.3多环境部署方案

原创【云星数据---大数据集群部署系列006】：spark2.2部署方案

原创【云星数据---大数据部集群署系列005】：hadoop3.0全分布部署方案

原创【云星数据---大数据部集群署系列004】：zookeeper分布式部署方案

原创【云星数据---大数据部集群署系列003】：scala部署方案

原创【云星数据---大数据部集群署系列002】：Java部署方案

空空如也

空空如也