- 博客(85)
- 收藏
- 关注
RSS订阅原创 大鲸鱼—Docker+consul容器服务的更新与发现
服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。如果后端应用服务器集群节点数量很多，前端的负载均衡器配置和管理会很麻烦的问题：负载均衡器的后端应用节点配置条目数会很多，配置管理起来会很麻烦；
2024-07-22 10:35:28
742
原创 大鲸鱼docker-compose单机容器集群编排工具
一个Dockerfile模板文件可以定义一个单独的应用容器Docker Compose作为Docker官方产品可以服务编排定义多个容器Dockercompose 项目是 Docker 官方的开源项目，负责实现对 Docker 容器集群的快速编排。Docker compose项目由 Python 编写，调用 Docker 服务提供的 API来对容器进行管理。因此，只要所操作的平台支持Docker API，就可以在其上利用 compose 来进行编排管理。
2024-07-19 09:37:39
742
原创 大鲸鱼—Docker-harbor私有仓库部署与管理
Harbor 是 VMware 公司开源的企业级 Docker Registry 项目，其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务。Harbor以 Docker 公司开源的 Registry 为基础，提供了图形管理 UI 、基于角色的访问控制(Role Based AccessControl) 、AD/LDAP 集成、以及审计日志(Auditlogging) 等企业用户需求的功能，同时还原生支持中文。
2024-07-18 10:22:39
694
原创 大鲸鱼—Docker 数据管理与镜像创建
Docker 镜像结构的分层Dockerfile 中的每个指令都会创建一个新的镜像层；镜像层将被缓存和复用；当Dockerfile 的指令修改了，复制的文件变化了，或者构建镜像时指定的变量不同了，对应的镜像层缓存就会失效；某一层的镜像缓存失效，它之后的镜像层缓存都会失效；镜像层是不可变的，如果在某一层中添加一个文件，然后在下一层中删除它，则镜像中依然会包含该文件，只是这个文件在 Docker 容器中不可见。
2024-07-17 09:31:42
893
原创 分布式系统—Ceph块存储系统（RBD接口）
对 rbd 镜像进行快照，可以保留镜像的状态历史，另外还可以利用快照的分层技术，通过将快照克。快照分层支持用快照的克隆生成新镜像，这种镜像与直接创建的镜像几乎完全一样，支持镜像的所。通常情况下通过快照克隆而得到的镜像会保留对父快照的引用，这时候不可以删除该父快照，否会。唯一不同的是克隆镜像引用了一个只读的上游快照，而且此快照必须要设置保护模式。客户端使用 RBD 有两种方式。
2024-07-12 11:37:19
796
原创 大鲸鱼—docker 基本概念及安装使用
是一个开源的应用容器引擎，基于go语言开发并遵循apache2.0协议开源是在Linux容器里运行应用的开源工具是一种轻量级的 “虚拟机”Docker的容器技术,可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器Docker的Logo设计为蓝色鲸鱼，拖着许多集装箱鲸鱼可以看作宿主机，集装箱可理解为相互隔离的容器，每个集装箱中都包含自己的应用程序。
2024-07-12 11:36:59
1048
原创 分布式系统—Ceph应用之资源池pool管理
Ceph 客户端向 monitor 请求集群的状态，并向 Pool 中写入数据，数据根据 PGs 的数量，通过 CRUSH 算法将其映射到不同的 OSD 节点上，实现数据的存储。这里我们可以把 Pool 理解为存储 Object 数据的逻辑单元；当然，当前集群没有资源池，因此需要进行定义。
2024-07-11 09:36:06
385
原创 分布式系统—存储ceph部署
DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB 接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进行网络通信，把它转为好像本地文件系统一样来使用，这种存储服务是没办法对它再一次格式化创建文件系统块的SAN（存储区域网络）
2024-07-11 09:35:56
284
原创 分布式系统—MDS接口详解（CephFS文件系统）
账户为 client.jlh，用户 name 为 scj，jlh对文件系统的 / 根目录只有读权限，对文件系统的根目录的。账户为 client.zx，用户 name 为 zx，zx对ceph文件系统的 / 根目录（注意不是操作系统的根目。ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。因为我用的白色背景= =，[ ]里面是白色字体的INFO。子目录 /test 有读写权限。类似于文件系统的共享目录。
2024-07-11 09:35:36
363
原创 分布式系统—消息队列Kafka
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。
2024-07-10 09:23:47
894
原创 分布式系统—注册中心Zookeeper
Zookeeper是一个开源的，为分布式框架提供协调服务的Apache项目。zookeeper 分布式系统管理框架注册中心+文件系统+通知机制用于注册各种分布式应用，存储和管理各种分布式应用服务的元数据，如果应用服务状态发生改变会通知客户端2181 #zookeeper默认使用的端口号2888 #zookeeper服务之间通信的端口，集群内机器通讯使用（Leader监听此端口）
2024-07-10 09:23:20
899
原创 分布式系统—ELK优化之Elasticsearch
优化fsync，适当加大刷盘间隔时间（index.translog.sync_interval，默认值为5s，可调整为30s或60s）优化refresh，适当加大把内存数据写入Lucene的间隔时间（index.refresh_interval，默认值为1s，可调整为5s或10s）优化merge，根据硬盘的性能适当调整merge的线程数（index.merge.scheduler.max_thread_count，默认值为max，可调整为1，设置为1可允许最多3个并发的merge线程数）
2024-07-08 10:43:43
759
原创 分布式系统—ELK日志分析系统概述及部署
ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称，但是filebeat可以用来替代logstash的数据收集功能，比较轻量级。市面上也被称为Elastic Stack。2.ELK组件ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
2024-07-08 09:58:23
1540
原创 监控平台—zabbix介绍与部署
客户端：192.168.101进行配置案列：自定义监控客户端服务器登录的人数需求：限制登录人数不超过 5 个，超过 5 个就发出报警信息#可以将自定义的监控项配置文件创建在 zabbix_agent2.d 目录中281行键值存放目录 Include=/etc/zabbix/zabbix_agent2.d/*.conf#自定义监控项的格式如下vim user_login.conf #创建一个键键名 如何获取服务端：192.168.80.100验证。
2024-07-03 23:17:28
1535
原创 rsync远程同步
在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。同步操作的服务器称为同步源。
2024-07-02 10:39:18
1090
原创 Reids—主从复制、哨兵以及Cluster集群
当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。在主从复制的基础上，哨兵引入了主节点的自动故障转移。
2024-06-29 15:47:51
1161
原创 redis—高可用之持久化
在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务( 如主从分离、快速容灾技术)，还需要考虑数据容量的扩展、数据安全不会丢失等。redis中大量缓存key集体过期过程Redis 集群产生了大面积故障；缓存失败，此时仍有大量请求去访问 Redis 缓存服务器；在大量 Redis 请求失败后，这些请求将会去访问数据库；
2024-06-28 09:30:22
1219
原创 NoSQL—Redis配置与优化
Redis是一个开源、基于内存、使用C语言编写的key-value数据库，并提供了多种语言的API。它的数据结构十分丰富，主要可以用于数据库、缓存、分布式锁、消息队列等...Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；
2024-06-27 09:40:35
910
原创 MySQL数据库—MHA高可用配置及故障切换
MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件MHA 的出现就是解决MySQL 单点故障的问题MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。
2024-06-26 00:14:51
1753
原创 MySQL数据库—主从复制和读写分离
读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) ，而从数据库处理SELECT查询操作数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
2024-06-25 09:48:25
1152
原创 MySQL存储过程
存储过程是一组为了完成特定功能的SQL语句集合。存储过程在使用过程中是将常用或者复杂的工作，预先使用SQL语句写好并用一个指定的名称存储起来，这个过程经编译和优化后存储在数据库服务器中。当需要使用该存储过程时，只需要调用它即可。存储过程在执行上比传统SQL速度更快、执行效率更高。
2024-06-24 21:24:26
402
原创 MySQL数据库—高级SQL语句
数据库是用来存储数据，更新，查询数据的工具，而查询数据是一个数据库最为核心的功能，数据库是用来承载信息，而信息是用来分析和查看的。所以掌握更为精细化的查询方式是很有必要的。本文将围绕数据的高级查询语句展开为了下面查询语句的运用，事先准备了两张表，后续也会根据查询功能的运用会对表进行一些变动，或则创建新表：use mydb;
2024-06-24 00:21:03
884
原创 MySQL数据库—存储引擎
MySQL中的数据用各种不同的技术存储在文件中，每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力，这些不同的技术以及配套的功能在MySQL中称为存储引擎存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式存储引擎是MySQL数据库中的组件，负责执行实际的数据I/O操作MySQL系统中，存储引擎处于文件系统之上，在数据保存到数据文件之前会传输到存储引擎，之后按照各个存储引擎的存储格式进行存储。
2024-06-19 09:03:21
1021
原创 MySQL事务
如果没有开启自动提交，当前会话连接的mysql的所有操作都会当成一个事务直到你输入rollback|commit;当前事务结束前新的mysql连接时无法读取到任何当前会话的操作结果。说白了，所谓事务，它是一个操作序列，这些操作要么都执行，要么都不执行，它是一个不可分割的工作单位。如果开起了自动提交，mysql会把每个sql语句当成一个事务，然后自动的commit。总结：在事务管理中，原子性是基础，隔离性是手段，一致性是目的，持久性是结果。持久性(Durability)隔离性(Isolation)
2024-06-18 21:05:49
580
原创 MySql数据库初识 与 数据库管理
SQL语句用于维护管理数据库，包括数据查询、数据更新、访问控制、对象管理等功能。DDL：数据定义语言，用于创建数据库对象，如库、表、索引等。DQL：数据查询语言，用于从数据表中查找符合条件的数据记录。DCL：数据控制语言，用于设置或者更改数据库用户或角色权限。DML：数据操纵语言，用于对表中的数据进行管理。查看mysql数据中的表db结构信息👇。可以去看我的这一篇有详细步骤。
2024-06-15 00:10:44
1582
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人