我心中有一片海-CSDN博客

原创分布式文件系统Minio实战

MinIO是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。官网：https://min.io/ http://www.minio.org.cn/

2024-10-26 15:45:00 835

原创分布式文件系统FastDFS实战

FastDFS是一个开源的高性能分布式文件系统(DFS)。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件(建议范围：4KB< file_size

2024-10-26 10:00:00 1812

原创 FastDFS扩容操作

至此数据迁移完成，如需配置http服务，请参考 2.2.3部署HTTP服务。启动新的tracker服务器进程和storage服务器进程。2.基于存储节点扩容，新加服务器配置多个storage。1.基于group扩容，配置多个存储文件目录地址。找到新添加的storage节点，关注以下信息。查看Storage状态。

2024-10-25 10:00:00 597

原创 FastDFS集群部署

可能安装的linux（无图形的）没有开启网卡服务，可以修改/etc/sysconfig/network-scripts 下的网卡配置文件设置 ONBOOT=yse 表示开机启动网卡，然后启动网络服务即可。Keepalived当主nginx出现故障后会自动切换到备用nginx服务器的一款软件通常由运维人员进行使用。迷你版Linux没有图形界面，占用磁盘及资源小，企业里面使用的Linux都是没有图形界面的Linux；搭建一个FastDFS分布式文件系统集群，推荐至少部署6个服务器节点；

2024-10-24 10:00:00 904

原创 Day16-非关系型数据库服务-redis

Redis是数百万开发人员使用的开源内存数据存储服务，经常被用于数据库、缓存、数据流引擎、以及消息中间件；简单理解：Redis 是完全开源的，遵守BSD协议，是一个高性能的key-value数据库；对于关系型数据库主要负责核心业务数据的存储和查询；对于非关系性数据库主要作为配合数据库存储和查询的缓存业务；对于非关系性数据库也是存在很多种类的：Redis（缓存型）、MogoDB（文档型）、ES（日志型）…缓存服务产品-Redis。

2024-10-23 10:00:00 1810

原创 Day15-数据库服务全面优化与PT工具应用

latch主要用于管理对共享内存资源的并发访问，例如：操作缓冲池汇总的LRU列表，删除、添加、移动LRU列表中的元素；为了保证一致性，必须有锁的接入，这就是latch锁；区别locklatch锁定对象事务(SQL操作流程)线程保护对象数据库对象(库表行索引表空间数据页等)所有共享内存数据结构生命周期整个操作周期临界资源-mutex(互斥量)锁定模式MDL(元数据锁)、Table、Record、Gap(间隙锁)、NextLock、意向rw-latch。

2024-10-22 12:00:00 980

原创 Day14-数据库服务分布存储

分布式架构理念：（基于业务逻辑分布式/基于程序逻辑分布式）架构演变过程早期，为了满足主要业务功能需求，可以将所有程序部署在一个服务器节点上；架构演变过程发展，为了满足主要业务压力增长，可以将所有程序拆分部署在不同服务器上；架构演变过程发展，为了满足主要业务安全稳定，可以将数据库设计成主从架构或读写分离；架构演变过程发展，为了满足多个业务数量增加，可以将架构环境根据业务的情况独立拆分；架构演变过程发展，为了满足单独业务数量激增，可以将多个数据表进行拆分到多个节点上；

2024-10-21 10:00:00 919

原创 FastDFS单节点部署

FastDFS 是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单、灵活、高效，采用 C 语言开发，由阿里巴巴开发并开源。FastDFS 对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载、文件删除）等，解决了大容量文件存储的问题，特别适合以文件为载体的在线服务，如相册网站、文档网站、图片网站、视频网站等等。FastDFS 充分考虑了冗余备份、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

2024-10-20 15:32:30 853

原创 Day13-数据库服务架构集群

MySQL InnoDB集群提供了一个集成的，本地的，HA解决方案：MySQL InnoDB cluster；MySQL InnoDB cluster是利用组复制的paxos协议，保障数据一致性，组复制支持单主模式和多主模式；向集群的所有成员复制数据，同时提供容错，自动故障转移和弹性伸缩:(MvSOL Server 5.7.17 或更高的版本)确保客户端请求是负载均衡的，并在任何数据库故障时，可以路由到正确的服务器;(MySQL Router 2.1.3 或更高的版本》

2024-10-20 10:00:00 783

原创 Day12-数据库服务冗余架构

数据物理损坏：磁盘、主机、程序实例、数据文件误删除数据逻辑损坏：drop update …其中，数据库高可用技术的出现主要解决的是物理损坏/逻辑损坏的业务中断问题，而主从架构技术主要解决的是数据物理损坏问题；数据库高可用解决方案选型依据：（全年无故障率）无故障率故障时间解决方案99.9%keepalived+双主架构，但需要人为干预99.99%

2024-10-19 10:00:00 724

原创 Day11-数据库服务主从扩展

1、数据库过滤复制实践2、数据库半同步复制实践（数据库同步一致性）3、数据库GTID复制实践（GTID方式实现主从）4、数据库克隆复制实践5、数据库多源复制实践（将多个主库的数据汇总同步到一个从库上） – 数据中台 – 大数据6、数据库MGR组复制实践（强一致性主从同步）

2024-10-18 10:00:00 1017

原创 Day10-数据库服务主从实践

1、数据库服务克隆操作 8.0(云产品) RDS2、数据库主从同步原理数据库 (单台) ***3、数据库主从同步构建4、数据库主从同步查看5、数据库同步故障分析6、数据库同步延时分析7、数据库延时从库实践8、数据库过滤复制实践9、数据库半同步复制实践（数据库同步一致性）MGR补充：single-transaction 主要保证数据备份一致性（数据库中的数据 == 备份中的数据）

2024-10-17 10:00:00 1640

原创 Day09-数据库服务备份恢复

1、数据库逻辑备份实践（mysqldump）2、数据库逻辑备份参数（进阶参数）3、数据库逻辑备份案例4、数据库逻辑备份痛点5、数据库物理备份操作 xbk6、数据库服务克隆操作 8.0（云产品） RDS7、数据库主从同步原理数据库（单台）********8、数据库主从同步构建9、数据库主从同步查看

2024-10-16 14:50:14 1259

原创 Day08-数据库服务日志管理

数据库中会有多个不同的日志信息，分别保存到不同的文件中：服务层：多种不同日志，主要会记录服务运行情况数据信息存储情况（用于数据恢复/用于数据同步）引擎层：多种不同的日志redo日志、undo日志、dwr日志。

2024-10-15 17:33:15 803

原创 Day07-数据库服务事务机制

入门门槛问题：01 数据库索引原理问题 - Btree 索引树构建（聚簇辅助）02 数据库存储引擎问题 - 存储引擎结构03 数据库事务处理特性 - 隔离机制磁盘结构部分：类型三：undo表空间作用：可以将事务变化前的数据页信息进行保存，便于进行数据的回滚操作文件：undo_00x操作：PS：undo有些配置信息，需要在初始化操作时进行预先调整；类型四：temp表空间作用：用于存储临时数据信息，比如：排序的数据信息分组的数据信息连表查询的数据信息文件：ibtmp1类型五：red

2024-10-11 08:00:00 713

原创 Day06-数据库服务存储引擎

01 建立索引原则规范（DBA运维规范）数据表中必须要有主键索引（创建表时指定），建议是与业务无关的自增列；数据表中某些列若经常作为 where/order by/group by/join on/distinct条件信息，最好将相应列设置索引（产品功能/用户行为）数据表中最好使用唯一值多的列作为索引，如果索引列重复值较多，可以考虑使用联合索引；（最左列-减少回表次数 - 减少磁盘IO）数据表中列值长度较长的索引列，建议可以使用前缀索引；(防止索引树层次过高)

2024-10-10 10:00:00 841

原创 Day05-数据库服务索引应用

索引概念介绍：索引是数据库中用来提高数据读取性能的常用工具（select update delete）；提高查询数据的性能，主要是减少对IO CPU 内存的消耗；PS：应用索引主要在大表上（百万千万亿万级别）可以简单理解：数据库索引相当于书的目录，可以借助索引有针对的查看相应数据的信息，避免了全盘检索带来的工作量；序号类型说明类型01B+Tree默认类型索引类型02Hash算法类型索引类型03R+Tree空间类型索引类型04Fulltext全文类型索引。

2024-10-09 08:00:00 885

原创 Day04-数据库服务查询语句

课程知识内容概述:01 数据库操作数据语句（insert update delete）02 数据库查询语句基础（select）03 数据库查询语句进阶（分组查询连表查询子查询）04 数据库获取元数据信息（批量管理服务监控）05 数据库索引概述介绍（索引构建-原理）06 数据库索引分类介绍（主键索引辅助索引联合索引前缀索引唯一键索引）

2024-10-08 08:00:00 1880

原创 Day03-数据库服务管理语句

SQL，英文全称为Structured Query Language，中文意思是结构化查询语言（属于编程语言）；它是一种对关系数据库中的数据进行定义和操作的语言，是大多数关系数据库管理系统所支持的工业标准语言。哪些数据类型：https://m.php.cn/article/460317.htmlMySQL数据类型含义（有符号）tinyint(m)1个字节范围(-128~127)int(m)4个字节范围(-2147483648~2147483647)bigint(m)

2024-10-07 08:00:00 625

原创 Day02-MySQL数据库服务体系结构

作业：01 如何编写MySQL的systemctl启动文件；PS：以上操作过程，需要关闭数据库服务进行02 安装好5.6 5.7数据库。

2024-10-06 08:00:00 608

原创 Day01-MySQL数据库介绍及部署

数据：图片文字视频用户名密码代码信息（html php jar）地址人类识别 – 保存数据：二进制信息 – 保存 --磁盘人类可识别信息 - DBMS（数据库管理系统）- 二进制 -磁盘（颗粒-正负极）DBMS分类：RDBMS（关系型数据库软件）：主流核心使用数据库软件NoSQL（非关系数据库软件）：辅助数据库软件程序DDBMS（分布式数据库软件）：解决海量数据存储与管理（NewSQL）8.0 5.7 数据库初始化操作。

2024-10-05 12:00:00 2027

原创 Day01-postgresql数据库基础入门培训

PostgreSQL【简称：PG】是加州大学伯克利分校计算机系开发的，一个开源免费的关系式数据库管理系统，经过长达15年以上的积极开发和不断改进，PostgreSQL已在可靠性、稳定性、数据一致性等获得了业内相对高的声誉。PostgreSQL可以运行在所有主流操作系统上，包括Linux、AIX、HP-UX、Solaris和Windows等34种平台。PostgreSQL是完全的事务安全性数据库，完整地支持外键、联合、视图、触发器和存储过程(并支持多种语言开发存储过程)。

2024-10-03 19:51:41 2589

原创 Day11-K8S日志收集及搭建高可用的kubernetes集群实战案例

我们生成的证书会定义一个用户 admin，它是属于 system:masters 这个组，k8s 安装的时候会有一个 clusterrole，它是一个集群角色，相当于一个配置，它有着集群最高的管理权限，同时会创建一个 clusterrolebinding，它会把 admin 绑到 system:masters 这个组上，然后这个组上的所有用户都会有这个集群的权限。(2)健康检查会检查haproxy的状态，三次失败就会将KeepAlived停掉，停掉之后KeepAlived会跳到其他的节点;

2024-09-15 08:00:00 1051

原创 Day10-作业讲解，Ingress规则编写及Jenkins集成K8S项目实战案例

(5)解压jenkins数据到"/root"目下，会创建一个隐藏目录(.jenkins)(2)创建secret秘钥（harbor.oldboyedu.com创建私有仓库）(4)将Jenkins的war包放入到tomcat的应用目录，注意，复制该名称。(9)验证Jenkins的WebUI是否可以正常访问。(7)编写编译脚本并推送镜像到harbor仓库。(1)安装JDK环境，如上图所示。(3)删除tomcat的初始数据。(2)解压tomcat软件包。(4)其他服务仿照模板创建。(6)启动tomcat服务。

2024-09-14 08:00:00 748

原创 Day09-StatefuleSet控制器

以Nginx的为例，当任意一个Nginx挂掉，其处理的逻辑是相同的，即仅需重新创建一个Pod副本即可，这类服务我们称之为无状态服务。以MySQL主从同步为例，master，slave两个库任意一个库挂掉，其处理逻辑是不相同的，这类服务我们称之为有状态服务。有状态服务面临的难题:(1)启动/停止顺序;(2)pod实例的数据是独立存储;(3)需要固定的IP地址或者主机名;StatefulSet一般用于有状态服务，StatefulSets对于需要满足以下一个或多个需求的应用程序很有价值。

2024-09-13 16:44:59 1050

原创 Day08-K8S安全框架RBAC

(2)运行上述脚本并下载上一步生成的配置文件到桌面，如上图所示，选择并选择该文件进行登录。如下图所示，我们可以访问任意的Pod，当然也可以直接进入到有终端的容器哟。使用上一步的Token值登录即可（注意，复制时不要有换行哟)5.2.1 编写生成kubeconfig文件的脚本。(4)根据上一步的token名称的查看token值。2.1 编写生成kubeconfig文件的脚本。2.1 编写生成kubeconfig文件的脚本。(1)编写生成kubeconf的配置文件的脚本。

2024-08-13 20:56:33 788

原创 Day07-污点，污点容忍，亲和性，节点选择器，daemonset控制器，Pod驱逐，kubeadm的集群扩容和缩容实战，ep资源映射及apiserver修改svc端口范围

污点通常情况下是作用在worker节点上，其可以影响Pod的调度。污点的语法格式如下:相关字段说明:key:字母或数字开头，可以包含字母、数字、连字符(-) 、点(.) 和下划线(_) ，最多253个字符。也可以以DNS子域前缀和单个 "/" 开头value:该值是可选的。如果给定，它必须以字母或数字开头，可以包含字母、数字、连字符、点和下划线，最多63个字符。

2024-07-25 09:00:00 725

原创 Day06-deployment，jobs，cronjobs控制器，升级策略，发布方式，coreDns附加组件实战案例

coreDNS的作用就是将svc的名称解析为ClusterIP。早期使用的skyDNS组件，需要单独部署，在k8s 1.9版本中，我们就可以直接使用kubeadm方式安装CoreDNS组件。从k8s 1.12开始，CoreDNS就成为kubernetes默认的DNS服务器，但是kubeadm支持coreDNS的时间会更早。推荐阅读:一次性任务，Pod完成作业后并不重启容器。

2024-07-24 09:00:00 1065

原创 Day05-readinessProbe探针，startupProbe探针，Pod生命周期，静态Pod，初始化容器，rc控制器的升级和回滚，rs控制器精讲

(2)静态Pod创建的Pod名称会自动加上kubelet节点的主机名，比如"-k8s151.oldboyedu.com"，会忽略"nodeName"字段哟;(3)静态Pod的创建并不依赖API-Server，而是直接基于kubelet所在节点来启动Pod;(4)静态Pod的删除只需要将其从staticPodPath指定的路径移除即可;(5)静态Pod路径仅对Pod资源类型有效，其他类型资源将不被创建哟。(6)咱们的kubeadm部署方式就是基于静态Pod部署的哟;(6)将任意2个Pod调整为就绪状态。

2024-07-23 09:00:00 783

原创 Day04-标签管理，livenessProbe探针，namespace名称空间，rc控制器及svc服务发现实战案例

(2)将上周作业使用rc资源实现，并通过svc访问，要求将这些资源都放在"oldboyedu-homework"名称空间下;K8S集群一切皆资源，有的资源是不支持名称空间的，我们将其称为全局资源，而支持名称空间的资源我们称之为局部资源。Q4: 如何实现当Pod的IP地址发生变化时，不影响这正常服务的使用呢？Q2: 请问Pod能否实现对容器的健康检查，如果服务有异常，直接重启？在同一个名称空间下，同一种资源类型，是无法同时创建多个名称相同的资源。（2）在不同的名称空间下，相同的资源类型是能出现同名的;

2024-07-22 09:00:00 908

原创 Day03-Pod环境变量，容器重启策略，emptyDir，hostPath，nfs存储卷，资源限制及configMap，secret实战案例

configmap数据会存储在etcd数据库，其应用场景主要在于应用程序配置。configMap支持的数据类型:(1)键值对;(2)多行数据;Pod使用configmap资源有两种常见的方式:(1)变量注入;(2)数据卷挂载推荐阅读:metadata:name: linux85-config # 定义cm资源的数据 data: # 定义单行数据 school: oldboyedu。

2024-07-21 09:00:00 647

原创 Day02-Pod资源清单编写，资源的增删改查，镜像的下载策略及常见的Pod相关面试题实战

将"harbor.oldboyedu.com/oldboyedu-games/jasonyin2020/oldboyedu-games:v0.1"镜像使用Pod部署，并在浏览器中可以访问。早期版本中，可能没有提示Pod容器的名称，可以采用以下三种方式查看容器名称。需要去官方下载最新的二进制软件包，编写启动脚本。(1)完成的所有练习，并整理思维导图;(1)将Pod容器的文件拷贝到宿主机。(3)查看某个Pod的日志。kubernetes的架构。(2)连接到Pod的容器。控制K8S集群的组件。

2024-07-20 09:00:00 498

原创 Day01-harbor仓库的https部署，kubernetes集群架构，部署方式及基于kubeadm快速构建集群实战

2013年docker开源。2014年Google关注了docker，容器编排工具Kubernetes(简称K8S)。- 可以原生支持docker编排，解决docker编排问题- 以集群方式工作;2014-03:2014-06: 发布版本... k8s采用Golang语言研发。2014 ---> K8S ----> CNCF组织。2017.12 ----> 白热化 ----> Google 占用市场70% + docker swarm 不足20% + 其他编排工具....

2024-07-19 08:00:00 1065

原创 Day08-kafka集群搭建，集群原理，压力测试及filebeat和logstash结合kafak实战案例

在软件工程中，压力测试是对系统不断施加压力的测试，是通过确定一个系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大服务级别的测试。一个topic是生产者(producer)和消费者(consumer)进行逻辑的通信单元。分区可以暂时理解为分区编号，它包含该分区编号的所有副本，和磁盘的分区没关系。(2)当修改集群的配置参数后，压力测试可以协助运维人员去参考本次调优的效果;(1)根据公司的架构来调整咱们的生产者和消费者所在的环境;(3)压力测试的结果以后可以作为参考扩容集群的有效依据;

2024-07-18 08:30:00 1037

原创 Day07-ES集群加密，kibana的RBAC实战，zookeeper集群搭建，zookeeper基本管理及kafka单点部署实战

input {file {# 指定本地文件的路径# 指定读取文件的起始位置，但前提是该文件之前未读取过或者未在".sincedb"文件中记录。output {

2024-07-17 08:00:00 1146

原创 Day06-filebeat，logstash多实例，pipline，ElasticStack项目架构梳理及实战案例

02-写入地理位置-lat代表纬度,lon代表经度。filebeat的modules实战案例-了解。01-修改nginx的索引的地理位置映射。OLDBOYedu2023 教室07。完成的课堂的所有练习并整理思维导图.(2)修改pipline的配置文件。(3)启动logstash实例。(1)filebeat采集日志。(2)logstash分析数据。02-批量创建测试地理位置数据。(3)kibana出图展示。logstash配置文件。将数据发送到目的端。

2024-07-16 12:00:00 615

原创 Day05-filebeat常用的输出组件，logstash的输入输出组件及date，grok，geoip过滤插件实战案例

(2)filebeat采集数据到logstash。(4)基于命令行启动logstash实例。(4)基于命令行启动logstash实例。(1)编写logstash配置文件并启动。(2)启动filebeat实例并写入数据。(1)logstash配置文件编写。(3)验证logstash版本。(2)启动logstash实例。(1)logstash配置文件。(1)logstash配置文件。(2)filebeat配置文件。(2)安装logstash。(5)测试logstash。(5)测试logstash。

2024-07-15 12:00:00 838

原创 Day04-ES集群的文档读写流程，底层存储原理，filebeat的input组件常用组件实战案例及tomcat和nginx日志采集实战

(2)如果上一步搜索结果发现词条不在字典中，则结束本次搜索，如果在词典中，就需要去查看倒排表中的记录(倒排项);(3)根据倒排表中记录的倒排项来定位数据在哪个文档中存在，而后根据这些文档的"_id"来获取指定的数据;(1)首先根据用户需要查询的词条进行分词后，将分词后的各个词条字典进行匹配，验证词条在词典中是否存在;此时，如果我们查询文章内容包含"Jason Yin"的词汇的时候，就比较麻烦了，因为要进行全表扫描。创建索引的一种方式。指的是最小的存储和查询单元，换句话说，指的是您想要查询的关键字(词)。

2024-07-14 12:00:00 869

原创 Day03-索引模板，DSL语句，集群迁移API，ES集群状态统计API，KQL语句及分片重路由API实战

指的是创建索引的一种方式。用户可以根据需求自定义对应的索引模板。Elasticsearch 提供了基于JSON的完整 Query DSL（Domain Specific Language，领域特定语言）来定义查询。准备数据:(1)创建索引添加映射关系"item": {},"title": {},"price": {},"type": {},"group": {},},},},"city": {},(2)导入数据参考"Linux85期商品收集作业.json"内容即可。

2024-07-13 12:00:00 993

原创 Day02-ES集群常见术语，索引管理，文档管理，IK分词器，数据类型映射及kibana环境安装

当写入文档时，字段的数据类型会被ES动态自动创建，但有的时候动态创建的类型并符合我们的需求。这个时候就可以使用映射解决。使用映射技术，可以对ES文档的字段类型提前定义我们期望的数据类型，便于后期的处理和搜索.text:全文检索，可以被全文匹配，即该字段是可以被拆分的。keyword:精确匹配，必须和内容完全匹配，才能被查询出来。ip:支持Ipv4和Ipv6，将来可以对该字段类型进行IP地址范围搜索参考链接:(1)进入到IK分词器的插件安装目录(2)自定义字典德玛西亚艾欧尼亚亚索上号。

2024-07-12 12:00:00 754

空空如也

空空如也