it杂谈（运维）2

1、kibana用于对elasearch的可视化操作，如数据查询、集群状态查看等等

2、docker 容器化环境部署的应用，作用主要是在容器里安装好项目所需环境然后完成项目部署（模拟环境等如渗透测试的靶机环境）
目前国内各大源都无法使用了,可以尝试用下道客云的镜像

https://docker.m.daocloud.io

3、fastdfs 分布式文件系统，和hadoop的区别就是hadoop是主要存储，而这个是文件上传下载

高可用和高并发的处理，三台主机部署fastdfs分布式架构：

4、‌Storm是一个开源的分布式实时计算系统

5、高可用和高并发的处理

首先什么是高可用；举例就是我们服务器突然断电某些组件会关闭，而保证系统和服务能正常运行就是高可用，所以也就会出现组件的集群模式，在集群当中的一个组件（或者一台主机突然故障等）断开后，其他集群中的组件会自动补充上去充当替补，以保证系统和服务的正常运行。

其实高可用就是为了解决当系统或各种因素导致的对服务的产生危害，在危害发生时尽可能地保障服务器系统以及各种组件和服务的正常使用，在最短时间内修复或接替故障服务。

如何实现高可用呢？

常见的集群如redis集群，ES集群，zk+kafka集群，hadoop集群、hive、hbase集群、mysql主从复制等，实现高可用的方式也有很多，最简单的就是组件的集群模式，当然除此之外还有如keep alive+nginx+tomcat这种类型实现高可用。

其实一般就是集群模式，主备切换等还有分布式服务等。

什么是高并发？高并发即系统在短时间可以并行处理大量请求，典型的高并发场景例如双十一秒杀；如何解决系统高并发问题呢。

1、分布式和微服务

我们使用分布式技术，将一个系统拆分为多个子系统，分别部署在不同的主机上，这样可以大量优化用户对请求的并发情况，尽可能的缓解服务器的压力。

微服务则是在开发过程将系统优化（将系统尽可能拆分为多个小的服务，对系统进行更细粒度的拆分）不一定部署在多台主机上面，从而处理高并发问题 。微服务架构最常见的就是Spring Cloud等;

2、负载均衡

负载均衡就是，在大量用户向服务器发出请求时，为服务器配置负载均衡使请求转发，例如配置服务器1请求超过500之后，服务器1将不再接收请求，将请求继续的发送到其他的服务器当中，进而控制大量的用户请求，防止服务器崩溃。常见的例如nginx（可以实现高可用）。

3、异步请求和消息队列

异步请求，其实就是在做一些操作时，将操作放入后台或新的线程当中去执行，不影响主程序的正常使用，异步请求可以实现多个任务并行（同时刻处理多任务）执行，进而提高系统的并发（同一时间间隔处理多任务）能力。

消息队列，常见的消息队列有kafka（可以实现集群模式）、rocketMQ、rabbitMQ等，将任务放进队列当中，然后服务器正常运行，后台慢慢处理队列当中的任务，中间其实也存在异步处理。

4、分布式缓存

在大多数数据库操作中，最多的是读操作，在出现处理大量读操作情况时，就会产生高并发问题，分布式缓存刚好解决了这种问题，在对数据库操作之后将数据库读取结果存储在缓存数据库中，在下次读取时不需要向数据库发出请求，只需要检查缓存中的数据即可，当同时出现读写大量数据的情况时这便大大降低了数据库操作产生的并发情况；最常见的就是redis缓存数据库。redis缓存数据库也可以做成集群模式实现高可用，常见的一主两从集群模式。

5、分布式数据库

分布式数据库通常部署在多台服务上共同形成一个集群数据库，优点是高可用、灵活性、响应速度快等等，缺点是结构较为复杂，成本较高，数据安全处理较为复杂。下面是一些常见的分布式数据库。

 分布式关系数据库：MySQL支持分布式数据库（MySQL主从复制-同异步-读写分离等）

分布式文档数据库：Elaticsearch(分布式文档型数据库，也可用于大数据搜索，可搭建分布式集群)

分布式列式数据库：HBase（基于Hadoop的分布式列式数据库，也有集群模式）

6、分布式文件系统

Hadoop:一个分布式文件系统（集群高可用）

fasdfs:一个分布式文件系统，主要负责文件上传下载。（集群高可用）

以上就是解决高并发的一些方法，搭建分布式组件和服务（集群）来解决高并发和高可用。