- 博客(66)
- 收藏
- 关注
RSS订阅原创 持续集成与持续交付—— jenkins + gitlab + ansible
目录一、配置gitlab和server1二、配置jenkins三、配置server7和server8四、测试主机设定：server1 172.25.254.51 gitlab主机server2 172.25.254.52 jenkins+docker主机server3 172.25.254.53 harbor仓库主机 dockerserver7 172.25.254.57 docker主机server8 172.25.254.58 测试环境主机server9 172.25.254.59 生
2020-07-02 23:03:13
442
原创 持续集成与持续交付——jenkins + gitlab + docker + harbor
目录一、jenkins调用本机docker1、配置jenkins + gitlab自动触发更新2、在server3上部署harbor仓库3、在jenkins上安装docker的插件并连接harbor4、在server2上安装daocker和git5、测试6、整体流程二、Jenkins调用远程docker主机1、准备虚拟机 server7，并安装docker2、进行jenkins的配置3、测试三、使用ssh插件远程控制主机1、将server8设置为远程ssh主机，并在上面安装docker2、进行jenkins
2020-07-02 22:20:21
1245
原创 持续集成与持续交付——Harbor私有仓库的安装部署
目录一、Harbor简介1、Harbor简介2、Harbor功能3、Harbor核心组件4、Harbor和Registry的比较二、安装部署harbor三、Harbor的使用1、GUIl界面使用2、远程主机上传拉取镜像（1）上传（2）拉取3、本地上传拉取镜像4、成员管理四、为Harbor添加内容扫描五、配置Harbor内容签名1、配置签名2、删除签名镜像一、Harbor简介1、Harbor简介Harbor是构建企业级私有docker镜像仓库的开源解决方案，它是Docker Registry的更高级封
2020-07-01 23:52:37
539
原创 持续集成与持续交付——jenkins配置与使用
目录1、创建一个新项目2、源码管理3、构建4、测试1、创建一个新项目创建一个名字叫做demo的自由风格的项目，并点击ok：2、源码管理以git方式管理，添加gitlab的克隆地址并添加凭证。以git方式管理：添加凭证：在server2安装git用于gitlab抓取代码：yum install git -y选择刚才添加的凭证，让jenkins可以用私钥免密登录gitlab抓取代码：3、构建构建触发器：构建：4、测试查看控制台输出：...
2020-07-01 10:55:08
199
原创 持续集成与持续交付——jenkins持续集成
目录一、jenkins简介二、jenkins安装1、软件下载2、安装三、jenkins配置一、jenkins简介Jenkins是开源CI&CD软件领导者， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要。Jenkins用Java语言编写，可在Tomcat等流行的servlet容器中运行，也可独立运行。CI(Continuous integration持续集成）持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。CD(Continuous Delive
2020-06-21 23:52:00
279
原创 持续集成与持续交付——gitlab代码仓库
目录一、gitlab安装1、软件下载2、软件安装二、gitlab常用命令三、gitlab使用一、gitlab安装1、软件下载官网：https://about.gitlab.com/install/官方下载慢，推荐使用国内镜像站点：https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/2、软件安装注意： 官方推荐至少4G内存yum install -y curl policycoreutils-python openssh-serve
2020-06-19 23:47:24
201
原创 持续集成与持续交付——git工具使用
目录一、版本控制系统简介1、本地版本控制系统2、集中化的版本控制系统3、分布式版本控制系统二、git简介1、git特点2、git的三种状态三、git使用1、获取 git 仓库的两种方式2、git安装3、git使用（1）本地使用（2）使用远程仓库一、版本控制系统简介1、本地版本控制系统2、集中化的版本控制系统3、分布式版本控制系统二、git简介1、git特点速度简单的设计对非线性开发模式的强力支持（允许成千上万个并行开发的分支）完全分布式有能力高效管理类似 Linux 内核一样的
2020-06-19 23:32:13
255
原创 ELK日志分析平台——Kibana数据可视化和xpack安全验证
目录一、kibana简介二、kibana安装与配置三、启用xpack安全验证一、kibana简介Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。将地理数据融入任何地图。精选的时序性 UI，对您Elasticsearch 中的数据执行高级时间序列分析。利用 Graph 功能分析数据间的关系。Kibana 开发工具为开发人员提供了多种强大方法来帮助其与 Elastic Stack 进行交互。二、kibana安装与配置kibana下载：https://ela
2020-06-16 22:45:29
408
原创 ELK日志分析平台——Logstash数据采集
目录一、logstash简介1、输入：采集各种样式、大小和来源的数据2、过滤器：实时解析和转换数据3、输出：选择您的存储库，导出您的数据二、Logstash的安装与配置三、Logstash插件1、file输出插件2、elasticsearch输出插件3、file输入插件4、Syslog输入插件5、多行过滤插件6、grok过滤插件一、logstash简介Logstash是一个开源的服务器端数据处理管道。logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的
2020-06-16 22:12:06
317
原创 ELK日志分析平台——Elasticsearch分布式搜索分析引擎的分布式部署与节点优化
目录一、Elasticsearch的分布式部署1、配置节点2、查看ES集群状态二、Elasticsearch的节点优化1、Elasticsearch的节点角色2、Elasticsearch的节点优化3、Elasticsearch的节点组合4、Elasticsearch的节点需求5、调整ES集群状态一、Elasticsearch的分布式部署和ELK系列上一篇文章：ELK日志分析平台——之Elasticsearch的安装与配置的配置方法相同，再配置另外两个节点：server2、server3。分别把修改
2020-06-16 17:40:14
184
原创 ELK日志分析平台——Elasticsearch分布式搜索分析引擎的安装与配置
目录一、Elasticsearch简介1、简介2、基础模块3、Elasticsearch应用场景：二、Elasticsearch安装与配置1、软件下载与安装2、配置服务3、测试三、Elasticsearch插件安装1、下载安装2、配置3、状态查看一、Elasticsearch简介1、简介Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。Elasticsearch 不仅仅是 Lucene，也不仅仅只是一个全文搜索引擎：一个分
2020-06-16 16:08:29
177
原创 saltstack自动化运维管理——saltstack之salt-ssh、salt-syndic与salt-api
目录一、salt-ssh1、salt-ssh简介2、salt-ssh配置二、salt-syndic1、salt-syndic简介2、salt-syndic配置三、salt-api1、salt-api简介2、salt-api配置3、salt-api使用一、salt-ssh1、salt-ssh简介salt-ssh可以独立运行的，不需要minion端。salt-ssh 用的是sshpass进行密码交互的。以串行模式工作，性能下降。2、salt-ssh配置安装salt-ssh:yum ins
2020-06-16 11:05:44
216
原创 saltstack自动化运维管理——saltstack之Job管理
目录一、Job简介二、Job cache三、把Job存储到数据库1、安装数据库2、创建数据库3、方法一4、方法二一、Job简介master在下发指令任务时，会附带上产生的jid。minion在接收到指令开始执行时，会在本地的/var/cache/salt/minion/proc目录下产生该jid命名的文件，用于在执行过程中master查看当前任务的执行情况。指令执行完毕将结果传送给master后，删除该临时文件。二、Job cacheJob缓存默认保存24小时：# vim /etc/sal
2020-06-15 22:47:50
171
原创 saltstack自动化运维管理——saltstack之jinja模板
目录一、Jinja模板简介二、Jinja模板使用方式1、Jinja的基本用法2、Jinja在普通文件中的使用3、import方式三、引用变量1、直接引用grains变量2、直接引用pillar变量：3、在state文件中引用：4、例子：（1）写法一（2）写法二一、Jinja模板简介Jinja是一种基于python的模板引擎，在SLS文件里可以直接使用jinja模板来做一些操作。通过jinja模板可以为不同服务器定义各自的变量。两种分隔符： {% ... %} 和 {{ ... }}，前者用于执行诸
2020-06-07 00:59:07
171
原创 saltstack自动化运维管理——saltstack之pillar
目录一、pillar简介二、声明pillar三、自定义pillar项四、pillar数据匹配1、命令行中匹配2、state系统中使用一、pillar简介pillar和grains一样也是一个数据系统，但是应用场景不同。pillar是将信息动态的存放在master端，主要存放私密、敏感信息（如用户名密码等，而且可以指定某一个minion才可以看到对应的信息。pillar更加适合在配置管理中运用。二、声明pillar定义pillar基础目录：vim /etc/salt/master##修
2020-06-07 00:19:52
255
原创 saltstack自动化运维管理——saltstack之grains
目录一、grains简介二、信息查询1、默认可用的grains：2、查看每一项的值：3、取单项的值:三、自定义grains项1、server22、server3四、编写grains模块1、编写模块2、grains匹配运用一、grains简介Grains是SaltStack的一个组件，存放在SaltStack的minion端。当salt-minion启动时会把收集到的数据静态存放在Grains当中，只有当minion重启时才会进行数据的更新。由于grains是静态数据，因此不推荐经常去修改它。应用
2020-06-06 23:53:13
158
原创 saltstack自动化运维管理——saltstack之salt远程执行
目录一、Salt命令的构成1、target2、funcation3、arguments二、编写远程执行模块1、编写模块2、了解YAML语法3、SLS4、配置管理（1）方法一（2）方法二（3）方法三（4）一些例子一、Salt命令的构成Salt命令由三个主要部分构成:salt '<target>' <function> [arguments]1、targettarget： 指定哪些minion， 默认的规则是使用glob匹配minion id。salt '*' test.
2020-06-06 23:25:44
307
原创 saltstack自动化运维管理
目录一、saltstack简介1、简介2、Salt的核心功能3、Salt的通信机制二、saltstack安装与配置1、配置yum源2、配置master端3、配置minion端4、master端执行命令允许minion连接一、saltstack简介1、简介saltstack是一个配置管理系统，能够维护预定义状态的远程节点。saltstack是一个分布式远程执行系统，用来在远程节点上执行命令和查询数据。saltstack是运维人员提高工作效率、规范业务配置与操作的利器。2、Salt的核心功能
2020-06-06 22:19:48
179
原创 LNMP架构——架构搭建之Nginx，MYSQL，PHP的源码编译
目录一、LNMP二、LNMP的工作原理三、源码编译1、MYSQL数据库的源码编译2、PHP的源码编译3、Nginx的源码编译一、LNMPLNMP = Linux+Nginx+Mysql+PHPLNMP代表的就是：Linux系统下Nginx+MySQL+PHP这种网站服务器架构。Nginx中的PHP是以fastcgi的方式结合Nginx的，可以理解为Nginx代理了PHP的fastcgi。LNMP和LAMP唯一不同是：提供web服务的是Nginx而不是Apache。在Apache中，PHP是作为一个
2020-06-05 20:46:05
153
原创 5种IO模型
目录一、IO模型1、什么是IO2、IO的分类3、网络输入操作的两个阶段4、用户空间和内核空间5、同步和异步6、阻塞和非阻塞二、阻塞IO模型三、非阻塞IO模型四、IO复用模型五、信号驱动IO模型六、异步IO模型七、5种IO模型的区别一、IO模型5种IO模型分别是：阻塞IO模型、非阻塞IO模型、IO复用模型、信号驱动的IO模型和异步IO模型。1、什么是IOIO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方
2020-06-05 19:40:52
1504
原创 高性能服务器——Nginx之防盗链
目录一、盗链1、什么是盗链?2、盗链分类3、什么是防盗链?二、模拟盗链三、防盗链设置1、使盗链图片无法显示2、防盗链时重定向到指定链接一、盗链1、什么是盗链?盗链是指服务提供商自己不提供服务的内容，通过技术手段绕过其它有利益的最终用户界面（如广告），直接在自己的网站上向最终用户提供其它服务提供商的服务内容，骗取最终用户的浏览和点击率。受益者不提供资源或提供很少的资源，而真正的服务提供商却得不到任何的收益。2、盗链分类网站盗链会大量消耗被盗链网站的带宽，而真正的点击率也许会很小，严重损害了被盗链网
2020-06-05 18:41:20
96
原创 高性能服务器——Nginx之Rewrite规则
目录1、Rewite规则1、Rewite规则Rewrite 规则可以实现对 urI 的重写，以及重定向。重定向：重定向(Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置(如：网页重定向、域名的重定向、路由选择的变化也是对数据报文经由路径的一种重定向)，简单来说，就是从地址A跳转到地址B。为什么要进行重定向?什么时候需要重定向？网站调整(如改变网页目录结构)；网页被移到一个新地址；网页扩展名改变(如应用需要把.php改成.html)这种情况下，如果不做重定向，则用户收
2020-06-05 16:58:04
113
原创 高性能服务器——Nginx之获取客户端的真实IP和HTTPS的实现
目录1、获取真实的客户端IP2、HTTPS加密认证1、获取真实的客户端IP在这个实验中使用三台虚拟机：server1作为Nginx服务器server2作为server1的代理server3作为客户端在server2中修改Nginx配置文件配置反向代理：[root@server2 nginx]# vim conf/nginx.confworker_processes 1;events { worker_connections 1024;}http { inclu
2020-06-04 21:47:18
445
原创 高性能服务器——Nginx之限制用户访问和网页压缩
目录1、为什么要限制用户访问2、如何限制用户访问3、为什么要进行网页压缩4、如何实现网页压缩1、为什么要限制用户访问对于大流量恶意的攻击访问，会带来带宽的浪费、服务器流量异常和服务器负载过大的问题，影响正常业务。所以我们考虑对同一个ip的连接数、并发数进行限制，以避免这种问题。2、如何限制用户访问修改nginx配置文件：[root@server1 nginx]# cat conf/nginx.confworker_processes 1;events { worker_conne
2020-06-03 21:35:18
177
原创 高性能服务器——Nginx之平滑升级和版本回退
目录1、Nginx热部署2、平滑升级3、版本回退1、Nginx热部署运行Nginx服务会开启两类进程：一类是master进程，一类是worker进程：master进程是用来管理监控其下边的worker进程的主进程，这个进程由root发起，其中原因是http这个服务需要启用80端口，而只有root才有权限启用80端口。worker进程才是真正working的进程，才是真正处理请求的进程。这些进程全部都是master进程的子进程，是以普通用户的身份进行运行的。这样就可以极大增加程序的安全性，就算有一个
2020-06-03 21:04:08
326
原创 高性能服务器——Nginx之日志切割
目录1、什么是日志切割2、为什么要进行日志切割3、日志切割的手动实现4、日志切割的脚本实现1、什么是日志切割日志切割就是把系统的日志以天为单位进行存放。2、为什么要进行日志切割在企业中每天的日志文件都是要打包备份的，如果不做日志切割，任由日志文件累积，当日志文件很大的时候，vim打开时可能会卡死。日志切割有利于排错，是哪天的问题就查哪天对应的日志，方便快捷。3、日志切割的手动实现Nginx服务器的日志类型：access.log：存放访问 Nginx 服务器成功的日志信息error.l
2020-06-03 11:33:28
383
原创 高性能服务器——Nginx之进程
目录1、查看Nginx进程2、指定worker进程的运行用户3、定义worker进程数4、绑定 worker 和CPU1、查看Nginx进程启动 Nginx 以后，使用 ps 命令查 Nginx 进程,会看到至少两个 Nginx 进程，有 master 和 worker 。ps -ef | grep nginx2、指定worker进程的运行用户编译安装 Nginx 后，默认情况下 worker 进程是以 nobody 用户的身份运行的，如果我们想要指定 worker 进程的运行用户，则可以使用
2020-06-03 11:09:30
163
原创 高性能服务器——Nginx之root和alias
目录1、一个小实验2、root和alias的区别在前面的文章中我们说过，在 Nginx 中，我们可以通过把 location块 与 root 指令结合的方式， 将"url"与"服务器路径"建立起对应关系，location 块负责匹配 url ， root 指令负责将匹配到的 url 与服务器中某个具体目录对应起来。除了 root 指令,还有另一个指令也能实现类似的功能，它就是 alias 指令，root 指令和 alias 指令都能将 urI 和服务器路径进行对应，但是它们之间又存在一些区别。下面通过
2020-06-02 22:41:47
171
原创 高性能服务器——Nginx之模块、配置指令和块
目录1、模块、配置指令、块之间的关系2、一个简单的小实验1、模块、配置指令、块之间的关系同一个配置指令，写在不同的块中时，对应的“作用域”是不同的。某些配置指令只能在 http 块中配置，某些配置指令只能在 location 块中配置，有些配置指令既能在 server 块中配置又能在 http 块中配置，而有些配置指令只能在 main 区域中进行配置。有些指令既能配置 在server 块中，也能配在 http 块中，当多个 server 存在相同的配置时，我们可以将这些完全相同的配置指令提取到上一级
2020-06-02 22:20:55
127
原创 高性能服务器——Nginx之负载均衡
目录1、轮询的配置2、不进行服务器切换3、利用Nginx服务器作为备用后端1、轮询的配置轮询是 Nginx 自带的功能，所以直接在配置文件中添加新的后端即可。（1）在 server1 中修改配置文件内容：cd /usr/local/nginx/conf/vim nginx.conf##修改 17 http { 18 include mime.types; 19 default_type application/octet-stream; 20
2020-06-02 21:21:32
93
原创 高性能服务器——Nginx之反向代理
目录1、编辑配置文件2、语法检测3、重新加载配置文件4、编辑默认发布页面5、添加解析6、测试安装启动 Nginx 后，Nginx 会开启80端口。1、编辑配置文件编辑/usr/local/nginx/conf/nginx.conf文件：cd /usr/local/nginx/conf/vim nginx.conf##17 http {18 include mime.types;19 default_type application/octet-stream;
2020-06-02 20:58:42
106
原创 高性能服务器——Nginx基础
目录一、什么是Nginx二、Nginx的作用1、反向代理2、负载均衡3、HTTP服务器4、正向代理三、Nginx的优缺点1、优点2、缺点四、Nginx安装1、获得安装包2、解决依赖性3、编译安装Nginx4、启动5、各目录的作用6、制作软链接7、测试五、Nginx常用命令一、什么是NginxNginx 是一个使用 C 语言开发的高性能的 http 服务器和反向代理 web 服务器，同时也提供了 IMAP/POP/SMTP 服务。Nginx是一款轻量级的Web服务器、反向代理服务器及电子邮件（IMAP
2020-06-02 20:09:38
155
原创 负载均衡集群——LVS之TUN模式
目录一、隧道模式二、添加隧道三、添加策略四、关闭反向过滤规则五、测试一、隧道模式IP隧道（IP tunneling）是将一个IP报文封装在另一个IP报文中的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术IP隧道主要用于移动主机和虚拟私有网络（Virtual Private Network），在其中隧道都是静态建立的，隧道一端有一个IP地址，另一端也有唯一的IP地址。二、添加隧道分别在server1、server2和server3中
2020-05-21 22:42:58
494
原创 负载均衡集群——LVS之NAT模式
目录一、NAT模式1、LVS-NAT模式特点二、NAT工作原理三、配置实验环境四、打开内核路由功能五、添加调度策略六、测试一、NAT模式NAT模式：网络地址转换模式。1、LVS-NAT模式特点在一组服务器前有一个调度器，它们是通过Switch/HUB相连接的。这些服务器提供相同的网络服务、相同的内容，即不管请求被发送到哪一台服务器，执行结果是一样的。RS的网关必须指向DIPDIP和RIP必须在同一个网段内请求和响应报文都需要经过Director Server。高负载场景中，Director
2020-05-21 22:42:37
294
原创 负载均衡集群——LVS之DR模式下的高可用（keepalived）
目录一、什么是keepalived二、keepalived工作原理三、故障切换转移原理四、安装keepalived五、配置keepalived六、测试一、什么是keepalivedkeepalived：保持存活，在网络里面可理解为保持在线，也就是所谓的高可用或热备。用来防止单点故障(一旦某一点出现故障就会导致整个系统架构的不可用)的发生。keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态。如果某个服务器节点出现异常，或者工作出现故障，keepalived将监测到，并将
2020-05-21 21:38:11
183
原创 负载均衡集群——LVS之DR模式下的健康检查
目录一、为什么要进行健康检查二、实验环境部署三、部署ldirectord四、编辑 ldirectord的配置文件五、清除ipvsadm策略，开启ldirectord服务六、测试一、为什么要进行健康检查如果后端真实服务器出现问题，在客户访问时，会返回一个错误的页面。所以我们需要对后端服务器做健康检查，保证只把正确的页面返回提供给用户。eg：down 掉 server2 的 apache二、实验环境部署给sever1配置高可用的yum源来解决依赖性问题：[HighAvailability]nam
2020-05-21 21:37:10
199
原创 负载均衡集群——LVS之DR模式
目录一、DR模式二、DR模式的特性：三、实验搭建1、实验环境2、配置 ipvsadm3、添加 VIP4、开启路由功能5、测试5、arp协议（1）含义（2）应用一、DR模式DR（Direct Routing）：直接路由模式。工作原理：在一台主机上面搭建LVS服务器，设置LVS的工作模式是DR模式。LVS仅仅是一个调度器，它会把客户端的请求转发给后端服务器。DR模式直接由后端服务器把数据返回给客户端，不需要再逆向发送数据包，此时LVS调度器叫做DS调度器(Director Server)，RS是真正
2020-05-21 12:35:06
452
原创 负载均衡集群——LVS之八种调度算法
目录一、LVS调度算法的类型二、常用的静态调度算法1、RR：轮叫调度（Round Robin）2、WRR：加权轮叫（Weight RR）3、DH：目标地址散列调度（Destination Hash ）4、SH：源地址 hash（Source Hash）三、常用的动态调度算法1、LC：最少链接（Least Connections）2、WLC：加权最少连接（Weighted Least Connections）3、SED：最短延迟调度（Shortest Expected Delay）4、NQ永不排队/最少队列调
2020-05-21 12:34:42
821
原创 负载均衡集群——LVS之四种模式
目录一、DR模式二、TUN模式三、NAT模式四、full-nat模式一、DR模式Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式工作在数据链路层上（二层）。工作原理 ：如上图所示，Director 和 REAL SERVER 都配置同一个IP（VIP），Director 将该IP配置到对外的网卡上，Re
2020-05-21 12:34:05
216
原创 负载均衡集群——LVS
目录一、LVS简介二、LVS的特点三、LVS常见术语四、LVS的组成五、LVS的工作原理一、LVS简介LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。这是一个开源项目，它的官方网站是 http://www.linuxvirtualserver.org ，现在LVS已经是linux内核标准的一部分。LVS的宗旨是：使用集群技术和Linux操作系统实现一个高性
2020-05-21 12:33:36
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人