LlinCK-CSDN博客

原创 Docker 镜像管理

一、查看镜像有关信息1.1 查看镜像历史分层root@lck:~# docker pull nginxroot@lck:~# docker image history nginxIMAGE CREATED CREATED BY SIZE COMMENTae2feff98a0c 2 weeks ago /bin/sh

2021-09-04 15:45:01 772 2

一、基于 ubuntu 1804 的一键安装 docker 脚本#!/bin/bashCOLOR="echo -e \\033[1;31m"END="\033[m"DOCKER_VERSION="5:19.03.14~3-0~ubuntu-bionic"install_docker(){dpkg -s docker-ce &> /dev/null && ${COLOR}"Docker已安装，退出"${END} && exitapt upd

2021-09-04 15:25:41 897

原创通过 Nginx 实现 Kibana 认证登录

一、配置 kibana 只监听本机IProot@es1:~# vim /etc/kibana/kibana.ymlserver.hosts: "127.0.0.1"二、部署 Nginx 并添加配置文件在 10.0.0.31 安装 Nginx在Nginx添加反向代理配置文件vim /apps/nginx/conf/nginx.confhttp { include /usr/local/nginx/conf/conf.d/*.conf;}vim /apps/nginx/conf/conf

2021-09-02 00:02:37 643

原创 ELK 使用 Filebeat 收集日志

一、部署 filebeat10.0.0.37 安装 filebeatapt install -y openjdk-8-jdk# 将 filebeat-7.12.1-amd64.deb 软件包传到 /usr/local/src 目录下，并进行安装dpkg -i /usr/local/src/filebeat-7.12.1-amd64.deb二、修改 filebeat 配置文件默认filebeat配置文件详细说明grep -v "#" /etc/filebeat/filebeat.yml |

2021-09-01 23:14:01 652

原创 ELK 通过 Logstash 收集日志并写入 Kafak

一、Kafak 部署zookeeper 集群部署参考csdn连接：https://blog.csdn.net/qq_42606357/category_11241804.htmlkafka 集群部署参考csdn连接：https://linck.blog.csdn.net/article/details/119257228二、配置WEB服务器的日志写入kafkaroot@web1:/etc/logstash/conf.d# vim nginx-log-to-kafka.confinput { f

2021-08-29 22:07:36 351 1

原创 ELK 通过 Logstash 收集日志并写入 Redis

用一台服务器按照部署 redis 服务，专门用于日志缓存使用，用于 web 服务器产生大量日志的场景，例如下面的服务器内存即将被使用完毕，查看是因为 redis 服务保存了大量的数据没有被读取而占用了大量的内存空间。一、部署并且启动 redis 服务root@redis:~# apt -y install redisroot@redis:~# vim /etc/redis/redis.confbind 0.0.0.0save ""#save 900 1#save 300 10#save

2021-08-29 13:58:04 596 1

原创 ELK 通过 Rsyslog 收集 HaProxy 日志

一、部署 HaProxySRC_DIR=/usr/local/srcCOLOR="echo -e \\033[01;31m"END='\033[0m'CPUS=`lscpu |awk '/^CPU$s$/{print $2}'`LUA_FILE=lua-5.4.3.tar.gzHAPROXY_FILE=haproxy-2.2.12.tar.gzHAPROXY_INSTALL_DIR=/apps/haproxySTATS_AUTH_USER=adminSTATS_AUTH_PASSW

2021-08-29 01:27:24 327

原创 ELK 通过 Logtsash 收集 TCP/UDP 日志

帮助文档：https://www.elastic.co/guide/en/logstash/5.6/input-plugins.html一、修改 logstash 配置文件root@web1:~# vim /etc/logstash/conf.d/tcplog-to-es.confinput { tcp { host => "10.0.0.37" port => "8899" type => "tcplog" }}output { stdou

2021-08-29 00:23:46 533

原创 ELK 通过 Logtsash 收集 Nginx 访问日志

一、部署 Nginx准备Nginx脚本，以及把安装包放到/usr/local/src/目录下安装包下载：https://download.csdn.net/download/qq_42606357/19324277SRC_DIR=/usr/local/srcCOLOR="echo -e \\033[01;31m"END='\033[0m'NGINX_URL=http://nginx.org/download/NGINX_FILE=nginx-1.18.0.tar.gzECHO_NGINX=e

2021-08-28 23:03:14 144

原创 ELK 通过 Logtsash 收集 Tomcat 和 Java 日志

一、服务器部署 Tomcat 服务cd /appswget https://archive.apache.org/dist/tomcat/tomcat-8/v8.5.68/bin/apache-tomcat-8.5.68.tar.gztar xvf apache-tomcat-8.5.68.tar.gzcd apache-tomcat-8.5.68# 修改配置文件中，日志名称及后缀vim conf/server.xmlprefix="tomcat_ access_ Log" suffix="

2021-08-28 20:19:19 298 1

原创 ELK 通过 logstash 收集单个/多个日志文件

一、收集单个日志文件注意事项：logstah 服务默认启动用户和组是 logstash被收集的日志文件有读的权限并对写入的文件有写权限而 logstash 是普通用户1.1 编辑 logstash 配置文件vim /etc/logstash/conf.d/test.confinput { file { path => "/var/log/syslog" type => "systemlog" }}output { elasticsearch {

2021-08-28 13:02:50 1345

原创 ELK（ Elasticsearch、Logstash、Kibana ）部署

一、elasticsearch 部署1.1 环境初始化数据盘与系统盘分离mkfs.ext4 /dev/sdbmkdir /datavim /etc/fstab/dev/sdb /data ext4 default 0 0UUID="" /data ext4 default 0 0 #命令 blkid /dev/sdb 来获取UUID 挂载方法二选一mount -adf -TH内核优化：可同时打开的文件数量echo "

2021-08-28 11:07:56 326

原创 Jenkins SonarQube 代码质量测试

SonarQube 是一个用于代码质量管理的开放平台，通过插件机制，SonarQube可以集成不同的测试工具，代码分析工具，以及持续集成工具，例如 Hudson/Jenkins 等。官方网站：http://www.sonarqube.org/下载地址：https://www.sonarqube.org/downloads/七个维度检测代码质量复杂度分布：代码复杂度过高将难以理解重复代码：程序中包含大量复制、粘贴的代码而导致代码臃肿，sonar 可以展示源码中重复严重的地方单元测试统计：统计并

2021-08-24 22:01:02 3932

原创 Jenkins 视图

一、build pipeline view1.1 安装 build pipeline 插件1.2 创建新的视图1.3 创建 build pipline view1.4 定义视图配置信息1.5 web 显示界面二、列表视图列表视图使用场景比较多，用于将一个业务的job保存至一个列表视图进行分类管理，即不同业务的 job 放在不同的列表视图中。列表视图是对众多 job 推荐使用的分类功能。2.1 定义视图名称2.2 选择任务2.3 最终状态三、我的视图我的视图会显示当

2021-08-23 22:30:39 1843 1

原创 Jenkins Pipline 代码流水线配置

pipline 是帮助 Jenkins 实现 CI 到 CD 转变的重要角色，是运行在 jenkins 2.X 版本的核心插件，简单来说 Pipline 就是一套运行于 Jenkins 上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程，从而实现单个任务很难实现的复杂流程编排和任务可视化，Pipeline 的实现方式是一套 Groovy DSL，任何发布流程都可以表述为一段 Groovy 脚本。一、pipline 语法Stage：阶段，一个 pipl

2021-08-23 21:58:19 1078

原创 Jenkins 分布式部署

master 10.0.0.32slave 10.0.0.33 10.0.0.34在众多 Job 的场景下，单台 jenkins master 同时执行代码 clone、编译、打包及构建，其性能可能会出现瓶颈从而会影响代码部署效率，影响 jenkins 官方提供了 jenkins 分布式构建，将众多 job 分散运行到不同的 jenkins slave 节点，大幅提高并行 job 的处理能力。一、配置 slave 节点 java 环境root@ubuntu1804:~# apt -y inst

2021-08-23 00:28:03 1138

原创 Jenkins 构建触发器

构建触发器(webhook)，有的人称为钩子，实际上是一个 HTTP 回调,其用于在开发人员向 gitlab 提交代码后能够触发 jenkins 自动执行代码构建操作。以下为新建一个开发分支，只有在开发人员向开发(develop)分支提交代码的时候才会触发代码构建，而向主分支提交的代码不会自动构建，需要运维人员手动部署代码到生产环境。一、Gitlab 新建 develop 分支二、Jenkins 安装插件安装Gitlab Hook 和 Gitlab Authentication插件第一步

2021-08-22 23:36:30 499

原创 Jenkins 与 Gitlab 之间非交互拉取代码并进行代码部署

一、Jenkins 设置基于 ssh key 拉取代码1.1 Jenkins 获取公钥# Jenkins服务器生成密钥root@jenkins-master:~# ssh-keygen# 查看公钥root@jenkins-master:~# cat .ssh/id_rsa.pubssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDgcESRqkOgXDIM6DyHs9ouyYYdLWBH0SsScMifVI/yoa39xeMUZPzu+DMPp43RJHN9rGyIXI

2021-08-22 22:10:09 312

原创部署 Jenkins 及用户权限管理

一、安装及初始化 JenkinsUbuntu安装Jenkins# 下载并安装Jenkinsroot@jenkins-master:~# apt -y install openjdk-8-jdkroot@jenkins-master:~# wget https://mirror.tuna.tsinghua.edu.cn/jenkins/debian-stable/jenkins_2.277.4_all.debroot@jenkins-master:~# apt -y install daemon.

2021-08-22 19:55:27 575

原创 Gitlab 部署与使用

文章目录一、下载并安装 gitlab二、修改 gitlab 配置文件并初始化 gitlab三、验证端口80是否开启，并登录 gitlab web 界面四、gitlab web 界面设置中文五、gitlab 常用命令六、关闭账号注册功能七、解决邮箱注册失败，实现事件触发八、创建账户 Users九、重新设置密码十、创建组 Groups十一、将用户添加到组十二、创建一个测试项目页面十三、git 客户端测试 clone 项目十四、客户端编辑文件并测试提交十五、Windows客户端、凭据管理十六、gitlab 使用1

2021-08-19 02:05:56 645 2

原创 Linux 最小化安装所需安装包

# Ubuntuapt install -y iproute2 ntpdate tcpdump telnet traceroute nfs-kernel-server nfs-common lrzsz tree openssl libssl-dev libpcre3 libpcre3-dev zlib1g-dev ntpdate tcpdump telnet traceroute gcc openssh-server lrzsz tree openssl libssl-dev libpcre3 libpc

2021-08-18 22:34:01 408

原创 Prometheus 监控 Ceph

一、部署 Prometheus[root@ceph-node1 apps]# wget https://github.com/prometheus/prometheus/releases/download/v2.27.1/prometheus-2.27.1.linux-amd64.tar.gz[root@ceph-node1 apps]# tar xvf prometheus-2.27.1.linux-amd64.tar.gz[root@ceph-node1 apps]# ln -sv /apps

2021-08-18 21:22:33 1125

原创 Ceph dashboard 配置

Ceph-Dash 是用 Python 开发的一个 Ceph 的监控面板，用来监控 Ceph 的运行状态。同时提供 REST API 来访问状态数据。一、查看 Ceph 模块Ceph mgr 是一个多模块化的组件，其组件可以单独的启用或关闭。其操作在 ceph-deploy 服务器操作。[ceph@ceph-deploy ceph-cluster]$ ceph mgr module ls # 列出 ceph 所有模块二、启用 dashboard 模块注意事项：模块启用后还不能直接访问

2021-08-17 23:49:20 2859

原创 RadosGW 使用详细说明

一、RadosGW 对象存储简介RadosGW 是对象存储(OSS,Object Storage Service)的一种实现方式，RADOS 网关也称为 Ceph 对象网关、RADOSGW、RGW，是一种服务，使客户端能够利用标准对象存储 API 来访问 Ceph 集群，它支持AWS S3和Swift API，rgw运行于librados之上，在ceph 0.8版本之后使用Civetweb 的 web 服务器来响应 api 请求，可以使用 nginx 或或者 apache 替代，客户端基于 http/ht

2021-08-17 22:52:59 1956

原创 CephFS MDS服务高可用

Ceph mds(metadata service)作为 ceph 的访问入口，需要实现高性能及数据备份，假设启动 4 个 MDS 进程，设置 2 个 Rank。这时候有 2 个 MDS 进程会分配给两个 Rank，还剩下 2 个 MDS 进程分别作为另外个的备份。设置每个 Rank 的备份 MDS，也就是如果此 Rank 当前的 MDS 出现问题马上切换到另个MDS。设置备份的方法有很多，常用选项如下：mds_standby_replay：值为 true 或 false，true 表示开启 repl

2021-08-17 21:21:34 1166

原创 Ceph FS 使用详细说明

文章目录一、部署 MDS 服务二、创建 CephFS metadata 和 data 存储池三、创建 cephFS 并验证四、验证 cepfFS 服务状态五、创建客户端普通账户六、安装 ceph 客户端七、同步客户端认证文件八、客户端验证权限九、客户端挂载9.1 内核支持 ceph 模块9.2 内核不支持 ceph 模块ceph FS 即 ceph filesystem，可以实现文件系统共享功能,客户端通过 ceph 协议挂载并使用 ceph 集群作为数据存储服务器。Ceph FS 需要运行 Meta

2021-08-16 20:08:59 1378

原创 Ceph RBD 使用详细说明

文章目录一、创建存储池二、创建 img 镜像2.1 创建 img 镜像2.2 查看镜像详细信息2.3 以 json 格式显示镜像信息2.4 镜像的其他特性2.5 镜像特性的启用2.6 镜像特性的禁用三、配置客户端使用 RBD3.1 客户端配置 yum 源3.2 客户端安装 ceph-common3.3 客户端使用 admin 账户挂载并使用 RBD3.3.1 同步 admin 账户认证文件3.3.2 客户端查看镜像映射3.3.3 客户端验证镜像3.3.4 客户端格式化磁盘并挂载使用3.3.5 客户端验证写入

2021-08-16 01:17:18 2914

原创 CephX 认证机制

Ceph 使用 cephx 协议对客户端进行身份认证。cephx 用于对 ceph 保存的数据进行认证访问和授权，用于对访问 ceph 的请求进行认证和授权检测，与 mon 通信的请求都要经过 ceph 认证通过，但是也可以在 mon 节点关闭 cephx 认证，但是关闭认证之后任何访问都将被允许，因此无法保证数据的安全性。一、授权流程二、访问流程三、Ceph 用户四、Ceph 授权和使能五、Ceph 用户管理5.1 列出所有用户5.2 列出指定用户信息5.3 用户管理六、秘钥环管理

2021-08-15 21:26:17 779

原创 OSPF路由协议详解及配置

文章目录一、OSPFv2基本概念1.1 OSPF的基本概念1.2 层次划分模型1.3 OSPF区域划分优势1.4 OSPF路由器类型1.5 OSPF路由类型1.6 OSPF支持的网络1.6.1 P2P1.6.2 广播型网络1.6.3 NBMA网络1.6.4 P2MP网络1.7 OSPF报文1.7.1 OSPF五种报文1.7.2 OSPF协议报文头部1.7.3 Option字段1.7.4 五种OSPF报文格式1.7.4.1 Hello报文1.7.4.2 DD报文1.7.4.3 LSR报文1.7.4.4 LSU

2021-08-13 23:03:00 22103

原创 Ceph 存储池命令以及数据压缩

http://docs.ceph.org.cn/rados/ #ceph 官方运维手册存储池的管理通常保存创建、列出、重命名和删除等操作管理工具使用 ceph osd pool 的子命令及参数，比如 create/ls/rename/rm 等。一、存储池操作1.1 常用命令创建存储池命令格式ceph osd pool create <poolname> pg_num pgp_num {replicated|erasure}# 示例ceph osd pool create mypo

2021-08-13 01:40:19 2143

原创 Ceph 集群基础知识点

一、ceph 集群维护1.1 通过套接字进行单机管理查看 node 节点上的套接字文件[root@ceph-node1 ~]# ll /var/run/ceph/total 0srwxr-xr-x 1 ceph ceph 0 Aug 9 00:04 ceph-osd.0.asoksrwxr-xr-x 1 ceph ceph 0 Aug 9 00:05 ceph-osd.1.asoksrwxr-xr-x 1 ceph ceph 0 Aug 9 00:06 ceph-osd.2.asok

2021-08-12 00:52:29 688 1

原创 Ceph 的三种数据存储方式（块设备、对象存储、文件存储）

一、块设备 RBD（RADOS Block Devices）RBD(RADOS Block Devices)即为块存储的一种，RBD 通过 librbd 库与 OSD 进行交互，RBD 为 KVM 等虚拟化技术和云服务（如 OpenStack 和 CloudStack）提供高性能和无限可扩展性的存储后端，这些系统依赖于 libvirt 和 QEMU 实用程序与 RBD 进行集成，客户端基于 librbd 库即可将 RADOS 存储集群用作块设备，不过，用于 rbd 的存储池需要事先启用 rbd 功能并进

2021-08-10 01:58:23 4121

ELK v7.12.1安装包.zip

一键安装Nginx脚本+源码

空空如也