小鹏linux的博客

​进入eagle即可查看kafka状态http://127.0.0.1:8048/ 用户名密码是admin/123456

各个组件的作用如下：Filebeat：采集文件等日志数据；LogStash：过滤日志数据；Elastic Search：存储、索引日志；Kibana：用户界面；

调度是集群十分重要的功能，Swarm目前支持三种调度策略：spread、binpack和random。在执行swarm manage命令启动管理服务的时候，可以通过--strategy参数指定调度策略，默认的是spread。

Swarm目前可以支持多种服务发现后端，这些后端在功能上都是一致的，即维护属于某个集群的节点信息。不同的方案并无优劣之分，在实际使用时，可以结合自身需求和环境限制进行选择，甚至自己定制其他方案。

在任意一台安装了Swarm的机器上执行swarm create命令来在Docker Hub服务上进行注册。Swarm会通过服务发现后端（此处为Docker Hub提供）来获取一个唯一的由数字和字母组成的token，用来标识要管理的集群：

Docker Swarm是Docker官方的三剑客项目之一，提供Docker容器集群服务，是Docker官方对容器云生态进行支持的核心方案。使用 它，用户可以将多个Docker主机封装为单个大型的虚拟Docker主机，快速打造一套容器云平台。

负载均衡器+Web应用是十分经典的应用结构。下面，博主将创建一个该结构的Web项目：将Haproxy作为负载均衡器，后端挂载三个Web容器。

Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存从而提高某些需要迭代的计算场景的效率，目前受到广泛关注。

模板文件是使用Compose的核心，涉及的指令关键字也比较多。但大家不用担心，这里的大部分指令与docker run相关参数的含义都是类似的。

对于Compose来说，大部分命令的对象既可以是项目本身，也可以指定为项目中的服务或者容器。如果没有特别说明，命令对象将是项目，这意味着项目中所有的服务都会受到命令影响。

作为Docker官方编排工具，Compose的重要性不言而喻，它可以让用户通过编写一个简单的模板文件，快速地创建和管理基于Docker容器的应用集群。

Machine项目主要由Go编写，用户可以在本地任意指定被Machine管理的Docker主机，并对其进行操作。Machine定位是“在本地或者云环境中创建Docker主机（Create Docker hosts on your computer，on cloud providers，and inside your own data center.）”

Etcd的集群也采用了典型的“主-从”模型，通过Raft协议来保证在一段时间内有一个节点为主节点，其他节点为从节点。一旦当主节点发生故障，其他节点可以自动再重新选举出新的主节点。

etcdctl是Etcd官方提供的命令行客户端，它支持一些基于HTTP API封装好的命令，供用户直接跟Etcd服务打交道，而无需基于HTTP API的方式。当然，这些命令跟HTTP API实际上是对应的，最终效果上并无不同之处。

Etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于Go语言实现。接触过分布式系统的读者应该知道，分布式系统中，最基本最重要的问题就是各种信息的一致性，包括对服务的配置信息的管理、服务的发现、更新、同步等等。而要解决这些问题，往往需要基于一套能保证一致性的分布式数据库系统，比如经典的Apache ZooKeeper项目，通过维护文件目录信息来实现数据的一致性。

Docker Registry提供了一些样例配置，用户可以直接使用它们来进行开发或生产部署。博主将以下面的示例配置来介绍如何使用配置文件来管理私有仓库。

Docker搭建Registry私有仓库请看上一篇文章《【云原生 | 43】快速搭建Docker Registry私有仓库》通常在生产场景中，对私有仓库还需要进行访问代理，以及提供认证和用户管理。

新版本的Registry基于Golang进行了重构，提供更好的性能和扩展性，并且支持Docker 1.6+的API，非常适合用来构建私有的镜像注册服务器。官方仓库中也提供了Registry的镜像，因此用户可以通过容器运行和源码安装两种方式来使用Registry。

Erlang是一种用来构建大规模弹性、实时、高并发、高可用系统的编程语言，被广泛应用于电信、银行、电子商务和即时消息领域。Erlang的运行时系统内置支持并发、分布式和容错机制。Erlang由爱立信所辖的CS-Lab于1987年开发，目的是创造一种可以应对大规模并发活动的编程语言和运行环境。

R是一个面向统计分析和绘图的语言，是由新西兰奥克兰大学统计学系的Ross Ihaka和Robert Gentleman共同创立。R带有大量的统计软件包，如常见的贝叶斯推断、聚类分析、机器学习、空间统计、稳健统计等，在生物信息、统计学等领域应用广泛。

Perl是一个高级的、动态的解释型脚本语言，它的设计借鉴了C、Shell、awk和sed。Perl最重要的特性是它内部集成了正则表达式的功能，以及巨大的第三方代码库CPAN。Perl像C一样强大，同时像awk、sed等脚本语言一样富有表达性。Perl常见于系统管理和文件处理等程序，Perl多数情况下属于Web方案中的胶水语言。

Ruby是一种动态的面向对象的脚本语言，具有支持反射、跨平台、设计精简等特点，在Web应用领域应用颇多。Ruby的设计受到Perl、 Smalltalk、Eiffel、Ada和Lisp的影响。Ruby支持多种编程范式，如函数编程、面向对象编程、CLI交互式编程。Ruby还有动态的数据类型系统和自动的内存管理。Ruby 的特性与 Smalltalk、Perl 和 Python 类似。Perl、Python 和 Smalltalk 是脚本语言。Smalltalk 是一个真正的面向对象语言。

PHP（Hypertext Preprocessor，超文本预处理器）是一种通用的开源脚本语言。语法吸收了C、Java和Perl等语言的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

Go语言（也称Golang）是一个由Google主导研发的编程语言，于2009年推出。它的语法清晰明了，设计精良，拥有一些先进的特性，还有一个庞大的标准库。Go的基本设计理念是：编译效率、运行效率和开发效率要三者兼顾。使用Go开发，既可以得到很多灵活的语法支持，又可以拥有C/C++的运行和编译效率。此外，Go提供了轻量级的协程，支持大规模并发的场景。

JavaScript是目前所有主流浏览器上唯一支持的脚本语言，这也是早期JavaScript的唯一用途。Node.js的出现，让服务端应用也可以基于 JavaScript进行编写。

Python是一种解释型的动态语言，面向对象设计，功能十分强大。它集成了模块（modules）、异常处理（exceptions）、动态类型（dynamic typing）、高级数据结构（元组、列表、序列）、类（classes）等高级特性。Python设计精良，语法简约，表达能力很强。目前，所有主流操作系统（Windows、所有Linux、类Unix系统）都支持 Python。

Java是一种拥有跨平台、面向对象、泛型编程特点的编译型语言，广泛应用于企业级应用开发和移动应用开发领域，由SUN公司在1995年推出。Java是基于类的面向对象的高级语言，其设计理念是尽可能的减少部署依赖，致力于“开发一次，到处运行”。这就意味着Java的二进制编码不需要再次编译，即可运行在异构的JVM上。Java在大型互联网项目，特别是互联网金融和电子商务项目中非常受欢迎。

C是一门古老的语言，在1969年由贝尔实验室设计开发，今天仍然是系统领域和高性能计算的主要选择。C语言具有高效、灵活、功能丰富、表达力强和较高的可移植性等特点。C++在C的基础上，支持了数据的抽象与封装、面向对象和泛型编程。功能与性能的平衡使C++成为了目前应用最广泛的系统编程语言之 一。

Elasticsearch提供了实时的分布式数据存储和分析查询功能，很容易扩展到上百台服务器，支持处理PB级结构化或非结构化数据。配合 Logstash、Kibana等组件，可以快速构建一套对日志消息的分析平台。

Apache Storm是一个实时流计算框架，由Twitter在2014年正式开源，遵循Eclipse Public License 1.0。Storm基于Clojure等语言实现。

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，基于Scala开发。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark支持更灵活的函数定义，可以将应用处理速度提升一到两个数量级，并且提供了众多方便的实用工具，包括SQL查询、流处理、机器学习和图处理等：

作为当今大数据处理领域的经典分布式平台，Apache Hadoop主要基于Java语言实现，由三个核心子系统组成：HDFS、YARN、MapReduce，其中，HDFS是一套分布式文件系统；YARN是资源管理系统，MapReduce是运行在YARN上的应用，负责分布式处理管理。如果从操作系统的角度看，HDFS相当于Linux的 ext3/ext4文件系统，而Yarn相当于Linux的进程调度和内存分配模块

Celery是一个简单、灵活、高可用、高性能的开源（BSD许可）分布式任务处理系统，专注于实时处理的任务队列管理，同时也支持任务调度。Celery基于Python实现，跟包括Django、Pyramid、Pylons、Flask、 Tornado等Web框架都无缝集成，有庞大的用户与贡献者社区。Celery可以单机运行，也可以在多台机器上运行，甚至可以跨越数据中心运行。

AMQP架构中有两个主要组件：Exchange和Queue，两者都在服务端，又称Broker，由RabbitMQ实现的。客户端通常有Producer和Consumer两种类型

Redis是一个开源（BSD许可）的基于内存的数据结构存储系统，可以用作数据库、缓存和消息中间件。Redis使用ANSI C实现，2013年起由Pivotal公司资助。Redis的全称意为REmote DIctionary Server。

MongoDB是一款可扩展、高性能的开源文档数据库，是当今最流行的NoSQL数据库软件之一。它采用C++开发，支持复杂的数据类型和强大的查询语言，提供了关系数据库的绝大部分功能。由于MongoDB高性能、易部署、易使用等特点，已经在很多领域都得到了广泛的应用。............

MySQL是全球最流行的开源的开源关系数据库软件之一，因为其高性能、成熟可靠和适应性而得到广泛应用。MySQL目前在不少大规模网站和应用中被使用，比如 Facebook、Twitter和Yahoo！等。

Tomcat是由Apache软件基金会下属的Jakarta项目开发的一个Servlet容器，按照Sun Microsystems提供的技术规范，实现了对Servlet和Java Server Page（JSP）的支持。同时，它提供了作为Web服务器的一些特有功能，如Tomcat管理和控制平台、安全域管理和Tomcat阀等。由于Tomcat本身也内含了一个HTTP服务器，也可以当作一个单独的Web服务器来使用

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，在BSD-like 协议下发行。其特点是内存利用率高，并发能力强。

Apache是一个高稳定性的、商业级别的开源Web服务器。目前Apache已经是世界使用排名第一的Web服务器软件。由于其良好的跨平台和安全性，Apache被广泛应用在多种平台和操作系统上。作为Apache软件基金会支持的项目，它的开发者社区完善而高效。自1995年发布至今，一直以高标准进行维护与开发。Apache名称源自美国的西南部一个印第安人部落：阿帕奇族，它支持类UNIX和Windows系统.........