unschooledrat-CSDN博客

原创 docker consul

服务部署简单，只有一个可运行的二进制的包。server-leader是所有server节点的老大，它和其它server节点不同的是，它需要负责同步注册的信息给其它的server节点，同时也要负责各个节点的健康监测。安装consul是用于服务注册，也就是容器本身的一些信息注册到consul里面，其他程序可以通过consul获取注册的相关服务信息，这就是服务注册与发现。（3）在server模式下，功能和client模式相似，唯一不同的是，它会把所有的信息持久化到本地，这样遇到故障，信息是可以被保留的。

2023-05-03 20:57:19 197 1

原创 docker本地私有仓库与harbor私有仓库

总共分为7个容器运行，通过在docker-compose.yml所在目录中执行 docker-compose ps 命令来查看，名称分别为：nginx、harbor-jobservice、harbor-ui、harbor-db、harbor-adminserver、registry、harbor-log。如果进入 Harbor.cfg，只会在第一次启动 Harbor 时生效，随后对这些参数的更新，Harbor.cfg 将被忽略。之后，此设置将被忽略，并且应在 UI 中设置管理员的密码。

2023-05-03 20:49:53 279

原创 docker镜像的创建

但是当编写一个新的Dockerfile文件来基于A镜像构建一-个镜像 ( 比如为B镜像)时，这时构造A镜像的Dockerfile文件中的ONBUILD指令就生效了，在构建B镜像的过程中，首先会执行0NBUILD指令指定的指令，然后才会执行其它指令。3）如果源路径是个目录，且目标路径不存在，则docker会自动以目标路径创建-一个目录，把源路径目录下的文件拷贝进来。（5）镜像层是不可变的，如果在某一层中添加一个文件，然后在下一层中删除它，则镜像中依然会包含该文件，只是这个文件在Docker容器中不可见了。

2023-05-03 20:34:27 2364 2

原创 Docker网络

（1）Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥（docker0），Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。Docker将 veth pair 设备的一端放在新创建的容器中，并命名为 eth0（容器的网卡），另一端放在主机中，以 veth*这样类似的名字命名，并将这个网络设备加入到 docker0 网桥中。这种类型的网络没有办法联网，但封闭的网络能很好的保证容器的安全性。

2023-05-03 20:26:56 89

原创 Docker

这里的组件，既可以是一个应用，也可以是一套服务，甚至是一个完整的操作系统。（3）Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器，也可以利用docker在多台主机上轻松的创建并运行容器。容器是在linux上本机运行，并与其他容器共享主机的内核，它运行的是一个独立的进程，不占用其他任何可执行文件的内存，非常轻量。容器是在Linux上本机运行，并与其他容器共享主机的内核，它运行的是一个独立的进程，不占其他任何可执行文件的内存，非常轻量。

2023-05-03 20:26:48 31

原创 zabbix监控系统

zabbix agent安装在被监控的主机上，zabbix agent负责定期收集客户端本地各项数据，并发送至 zabbix server 端，zabbix server 收到数据后，将数据存储到数据库中，用户基于 Zabbix WEB 可以看到数据在前端展现图像。（1）zabbix server：zabbix 服务端守护进程，其中 zabbix_agent、zabbix_get、zabbix_sender、zabbix_proxy 的数据最终都提交给 zabbix server;

2023-05-03 20:25:38 208

原创 kafka集群介绍

Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写，消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

2023-05-03 20:25:05 2440

原创 Zookeeper

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。假设ZooKeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。

2023-05-03 20:23:44 47

原创 ELK平台

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。（4）一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。

2023-04-09 21:47:54 247

原创 GFS分布式文件系统

File1和File2存放在Server1，而File3存放在Server2，文件都是随机存储，一个文件（如File1）要么在Server1上，要么在Server2上，不能分块同时存放在Server1和Server2上。（3）传统的MFS分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。类似 RAID0，文件被分成数据块并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高，但是不具备冗余性。

2023-04-09 21:27:20 74

原创 Redis主从复制哨兵集群

（3）负载均衡∶在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载，尤其是在写。（2）自动故障转移∶当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从节点升级为新的主节点，并让其他从节点改为复制新的主节点。（3）需要特别注意的是，客观下线是主节点才有的概念，如果从节点和哨兵节点发生故障，被哨兵主观下线后，不会再有后续的客观下线和故障转移操作。

2023-04-06 09:08:11 72

原创 Redis高可用

（1）Redis提供了多种AOF缓存区的同步文件策略，策略涉及到操作系统的write函数和fsync函数，说明如下：为了提高文件写入效率，在现代操作系统中，当用户调用write函数将数据写入文件时，操作系统通常会将数据暂存到一个内存缓冲区里，当缓冲区被填满或超过了指定时限后，才真正将缓冲区的数据写入到硬盘里。（2）缺点：RDB文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化，而在数据越来越重要的今天，数据的大量丢失很多时候是无法接受的，因此AOF持久化成为主流。存储能力受到单机的限制。

2023-04-06 09:07:11 772

原创 RSYNC远程同步

在Linux内核中，默认的inotify机制提供了三个调控参数∶max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。2、rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

2023-04-06 09:06:34 65

原创 MySQL数据库管理

（3）例如：定义char(4)和varchar(4) ，当输入ab时，char的长度就为4，虽然不足，但是不足的部分。使用了空格进行补充；（2）varchar为可变值，最大为设置的长度值，当不足时，即为当前长度大小。（1）char为固定长度值，不足的以空格替代。（3）修改、更新数据表中的数据记录。（4）在数据表中删除指定的数据记录。（3）修改字段（列）名，添加唯一键。（1）向数据表中插入新的数据记录。（3）查看数据库中包含的表。（2）扩展表结构（增加字段）（4）查看表的结构（字段）（4）删除指定的数据库。

2023-03-28 19:11:03 55

原创初识MySQL

客户端应用程序发起一个数据请求，经过DBMS把客户端应用程序发来的请求命令转换，转换成一个底层数据库能够识别的底层指令，然后交给底层数据库，数据库经过相应的处理并把处理后的结果返还给DBMS，然后DBMS将处理结果返回给客户端应用程序。• 20世纪80年代初，IBM公司的关系数据库系统DB2问世，开始逐步取代层次和网状模型的数据库，称为行业主流。数据库的建立和维护功能、数据定义功能、数据曹总功能、数据库的运行管理功能、通信功能。是一个人机系统，由硬件、OS、数据库、DBMS、应用软件和数据库用户组成。

2023-03-28 17:18:50 50

原创 Haproxy

默认haproxy的日志是输出到系统的syslog中，查看起来不是非常方便，为了更好的管理haproxy的日志，我们在生产环境中一般单独定义出来。（4）Haproxy跟LVS类似，本身就只是一款负载均衡软件，单纯从效率上来讲Haproxy会比Nginx有更出色的负载均衡速度，在并发处理上也是优于Nginx的。（3）Haproxy的优点能补充nginx的一些缺点，比如支持Session的保持，Cookie的引导，同时支持通过获取指定url来检测后端服务器的状态。（2）LVS性能最好，但是搭建相对复杂；

2023-03-28 17:13:49 97

原创 Keeplived

判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当master故障主机恢复后将其重新加入群集并且业务重新切回到master节点。Keepalived案例讲解 Keepalived可实现多机热备，每个热备组可有多台服务器，双机热备的故障切换是由虚拟IP地址的漂移来实现，适用于各种应用服务器。（3）若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。企业引用中，单台LVS服务器（单挂）承担应用存在单点故障的危险。

2023-03-28 17:06:53 60

原创 LVS部署

（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否为集群服务，是集群服务就重新封装数据包。修改源MAC地址为Director Server的MAC地址，修改目标MAC地址为Real Server的Mac地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server。（1）客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。

2023-03-28 17:03:11 193

原创 tomcat负载均衡

（4）Tomcat多实例服务器1：192.168.142.4:8080 192.168.142.4:8081。（2）单实例Tomcat的server配置（192.168.142.6）（5）Tomcat单实例服务器2：192.168.142.6。（2）Nginx作为负载均衡器，Tomcat作为应用服务器。（1）多实例动态分离配置（192.168.142.4）（3）Nginx 服务器：192.168.142.5。（1）Nginx+Tomcat负载均衡、动静分离。（2）Nginx配置文件修改。

2023-03-28 16:13:18 52

原创 Tomcat的部署与优化

（3）一个Tomcat中只有一个Server，一个Server可以包含多个Service，一个Service只有一个Container,但是可以有多个Connectors，因为一个服务可以有多个连接，如同时提供Http和Https链接，也可以提供向相同协议不同端口的连接。（1）Tomcat是Java语言开发的，Tomcat服务器时一个免费的开放源代码的web应用服务器，是Apache软件基金会的Jakarta项目中的一个核心项目，由Apache、Sun和其他一些公司及个人共同开发而成。

2023-03-28 15:07:44 66

原创 Nginx中location匹配及rewrite重写

从功能看，rewrite和location似乎很像，都能实现跳转，主要区别在于 rewrite是在同一域名内更改获取资源的路径，而location是对一类路径做控制访问或反向代理，还可以proxy_pass到其他机器。公司旧域名www.gxd.com有业务需求变更，需要使用新域名www.ggg.com代替，但是旧域名不能废除，需要跳转到新域名上，而且后面的参数保持不变。：匹配除“\n”之外的任何单个字符，如要匹配包括“\n”在内的任意字符，请使用诸如“[.\n]”之类的模式。：匹配前面的字符一次或多次。

2023-03-28 14:00:52 194

原创 Nginx 服务优化与防盗链

当修改文件的权限或者属性的时候，就会更新这个时间，ctime并不是create time，更像是change time，只有当更新文件的属性或者权限的时候才会更新这个时间，但是更改内容的话是不会更新这个时间。当Nginx将网页数据返回给客户端后，可设置缓存的时间，以方便再日后进行相同内容的请求时直接返回，避免重读请求，加快了访问速度。当修改文件的内容数据的时候，就会更新这个时间，而更改权限或者属性，mtime不会改变，这就是和ctime的区别。当使用这个文件的时候就会更新这个时间。

2023-03-28 13:55:54 24