weixin_44835704-CSDN博客

原创 docker搭建简单elk日志系统7(日志查看)

右边的内容除了有日志本身外还有很多其他字段，如果只是想查看日志内容可以在左边进行字段筛选（找到message字段添加）此处的log-level属于自定义字段，从日志中分离出来的。此处可以根据字段筛选日志；如只想查看ERROR级别的日志。匹配到logs-test-dev数据流，并创建数据流。此时显示内容就像我们在控制台tail -f 一样。此时右边的内容就和控制台输出的日志一样了。2. 以logs-test-dev为例。可以在此处根据时间范围筛选日志。设置名称选择数据视图后应用。1.登录kibana。

2023-05-23 18:54:35 784

原创 docker搭建简单elk日志系统6(kibana设置)

日志会源源不断地产生，但是磁盘的空间是有限的；有了索引生命周期，我们只需要指定一些策略就能让索引根据策略自动删除索引，释放磁盘空间。设置一个策略（只保留30天内的日志，设置当索引已存在 1 天或任何主分片达到 1 GB 时滚动更新）同样方法修改filebeat配置文件中的自定义字段env的属性就可以模拟出三个环境的数据流。1.进入kibana的索引管理界面清理调之前生成的测试数据流。可以看到每个数据流都关联上了索引生命周期策略。此时的索引策略并没有关联到索引上。索引模板关联索引生命周期策略。

2023-05-23 13:46:35 668

原创 docker搭建简单elk日志系统5(logstash管道配置文件logstash.conf)

造成这个现象的原因是：@timestamp字段是filebeat收集日志的时间，但是filebeat收集日志并不是应用产生一条日志就收集一条，而是一批一批收集的，也就是最上面两条日志是同一批次收集的，es并不能区分同一批里面日志的先后顺序；而日志里面的时间才是日志真实产生的时间，@timestamp只是收集日志的时间；设置数据流主要是方便设置索引的生命周期，日志会不断地产生，但是磁盘确实有限的资源，所以需要给索引设置生命周期，自动删除那些老旧的日志，为新的日志腾出空间；同logstash.yml中的配置。

2023-04-24 17:11:10 1349

原创 docker部署redis

5.默认redis镜像并没有配置文件（配置项都使用的默认配置），也没有运行日志文件，默认持久化目录是/data目录。可以进入容器连接redis查看配置，根据需要自定义配置，然后挂载到容器内。8.执行启动脚本,并查看是否启动成功。如：默认配置redis没有配置密码。默认配置redis没有开启aof。6.创建自定义redis配置文件。可以根据需求定义自己的配置文件。8.删除原redis容器。3.查看是否启动成功。启动脚本赋予执行权限。

2023-04-21 15:55:13 215

原创 docker部署mysql

有些配置在mysql初始化之后是不能修改的，比如这个不区分大小写的配置；要修改这个配置，我们可以删除挂载的data目录下的所有内容(删除这个目录需要sudo权限)比如：我们想要设置表名不区分大小写，可以在配置文件中添加配置lower_case_table_names=1。4.将mysql数据文件、配置文件、日志文件从容器拷贝到宿主机中创建的挂载目录中。6.创建启动shell脚本，方便以后启动。8.执行启动脚本,并查看是否启动成功。启动脚本赋予执行权限。7.删除之前的旧容器。

2023-04-20 17:46:28 144

原创 docker搭建简单elk日志系统4（filebeat配置文件本地调试）

其中收集到的文本内容在根节点的message字段中，filebeat输出的json数据不仅包含收集的内容，还默认会收集一些其他信息，如主机名、filebeat版本、收集的时间、收集内容来源等等。filebeat收集日志默认是通过行来收集的，但是java应用程序如果出现报错会在日志中打印出栈信息，就会导致一条日志出现多行内容。filebeat收集错误日志（此时已经将多行错误日志在filebeat中收集成了一个文档）到这里，一个简单的收集java日志的filebeat配置文件就完成了。

2023-04-12 19:29:12 552

原创 docker搭建简单elk日志系统3（kibana）

1.创建kibana容器并启动docker run -it \-p 5601:5601 \--name kibana \--restart=always \--log-driver \json-file \--log-opt max-size=100m \--log-opt max-file=2 \kibana:8.3.32.另开一个窗口登录服务器执行docker cp kibana:/usr/share/kibana/config /home/mfw/elk/kibana/

2023-03-15 14:36:07 712

原创 docker搭建简单elk日志系统2（logstash）

3.给挂载目录设置权限，使容器内外权限一致，logstash内部用户gid:1000,uid:1000。6.将elasticsearch服务的证书文件copy到logstash配置目录下。没有打印error日志表示logstash与elasticsearch连接没有问题。10.浏览器访问http://logstash所在服务器ip:9600/9.删除之前创建的logstash容器并运行启动脚本。5.logstash运行脚本赋予执行权限。1.创建logstash容器并启动。4.创建logstash运行脚本。

2023-03-15 10:22:29 429

原创 docker搭建简单elk日志系统1（elasticsearch）

4.创建elk/elasticsearch、elk/logstash、elk/kibana文件夹用于挂载配置文件。7.给挂载目录设置权限，使容器内外权限一致，elasticsearch内部用户gid:1000,uid:1000。2.修改/etc/security/limits.conf 文件,追加或修改配置。11.删除之前创建的elasticsearch容器并运行启动脚本。访问https://192.168.81.129:9200/6.另开一个窗口登录服务器。查看状态sestatus。

2023-02-24 15:28:34 581

原创将用户添加到docker用户组

但是每次使用docker命令都需要添加一个sudo，还是很麻烦；所以需要一个一劳永逸的方法：将当前用户加入docker用户组。文件所有者为root所属组也为root，文件所有者和所属组对该文件有读写权限，其他用户对该文件没有任何权限。通过错误日志猜测可能是/var/run/docker.sock文件权限不够导致的。5.查看/var/run/docker.sock文件的权限。普通用户使用docker命令的时候经常会提示权限不足。2.将当前登录用户加入到docker用户组。1.添加docker用户组。

2023-02-20 14:51:40 8371 2

原创 linux赋予普通用户sudo权限

2.在root ALL=(ALL) ALL行后面添加想要赋予sudo 权限的普通账号；如下是给mfw账号添加sudo权限。7.执行sudo service network restart使修改的配置生效。5.这个文件被设置为拥有者和所属组都只读，所以需要修改文件权限才能修改文件。1、切换root用户登录后，编辑/etc/sudoers配置文件。3.保存文件is的时候可能会提示是只读文件不允许修改。此时普通用户使用sudo只需要输入普通用户的密码即可。给拥有者（root）添加可以写的权限。

2023-02-20 14:29:45 1653

原创 arthas-tunel-server端口修改

arthas-tunel-serve有两个端口，一个是web服务的端口默认8080；一个是注册端口（arthas客户端会通过这个接口将自己注册到arthas-tunel-server服务上）默认7777启动后从日志可以看出web端口是8080，注册端口是7777有时候8080和7777可能和本机上已有服务的端口产生冲突，就需要修改这两个端口可以通过启动命令修改配置文件-Dserver.port修改指定web端口-Darthas.server.port指定注册端口下面的命令就是将web端口设置为

2022-12-05 17:15:40 1060

原创 docker使用问题记录

通过反复实验发现只要Dockerfile中有RUN命令构建镜像时就会出现这个错误，没有RUN命令可以构建成功。删除前先把这个有问题的镜像归档，以后如果有机会可以复现这个问题，找出根本原因。今天在使用docker build构建一个镜像时报了一个奇怪的错误。java8镜像是很早之前下载下来的。删除java:8镜像重新build。Dockerfile文件内容。

2022-09-06 16:49:49 358

原创 arthas部署安装

2.无网络环境可在本地下载全量包，上传到服务器；官网下载：https://arthas.aliyun.com/doc/download.html。启动后自动进入arthas终端，在arthas终端就可以执行arthas命令；1.有网络环境只需要下载arthas-boot.jar包，运行时会自动下载依赖。出现pid、time就表示arthas成功启动并监听了指定的java程序。这里只有一个java进程，直接选择输入1，回车。arthas运行需要有jdk;一、下载arthas安装包。三、运行arthas。

2022-08-23 16:31:10 1562

原创 docker 镜像归档打tar包，及加载tar包镜像

实际部署环境中经常会遇到服务器没有外网的情况，没有外网无法从外部镜像仓库载入镜像到服务器。需要在在外部将需要的镜像进行打包，传到无外网服务器上，然后将镜像加载到系统中1.镜像打包docker save 镜像名称:镜像版本打包后的文件名字.tar2.tar包上传通过ftp工具或scp命令将tar包上传到无外网服务器上3.将镜像加载到docker系统中docker load -i 打包后的文件名字.tar查看是否载入成功......

2021-11-12 17:43:01 4175 1

原创 docker服务离线安装

实际项目部署中经常会有服务器没有外网权限的情况，针对没有外网情况下如何安装docker服务1.下载docker官方离线包在有外网的环境中先把离线包下载下来安装包官方地址：https://download.docker.com/linux/static/stable/x86_64/2.上传离线包到服务器使用scp命令或ftp工具将下载下来的离线包上传到指定服务器上3.离线包解压tar -zxvf docker-20.10.8.tgz4.复制解压文件到/usr/bin/下sudo cp.

2021-11-12 15:32:41 250

原创 mysql学习(基础语法)

sql分类DDL（data definition language）数据库定义语言创建表视图的时候用到的一些sql，比如说：CREATE、ALTER、DROP等。DDL主要是用在定义或修改数据库、表、视图结构DML（data manipulation language）数据操纵语言：就是我们最经常用到的 SELECT、UPDATE、INSERT、DELETE。主要用来对数据库的数据进行一些操作。DCL（Data Control Language）数据库控制语言：是用来设置或更改数据库用户或角色

2021-11-05 18:27:24 317

原创 windows下mysql(8.0版本)登录密码忘记

之前在windows上装过一个mysql数据库，长时间没有使用后来密码忘记了。没法登录数据库，在此记录下解决方法加深下记忆1.打开powerShell，win7可以打开cmd(以管理员方式打开)2.停掉mysql服务net stop mysql3.执行mysqld --skip-grant-tables跳过密码认证4.执行mysql直接登录...

2021-11-05 14:38:07 406

原创 redis 哨兵模式常用命令

ping 正常会返回ponginfo replication 查看主从信息（非哨兵使用）info 查看主从哨兵信息sentinel masters 返回被监视的所有master及状态（哨兵使用）sentinel master 返回指定的master及状态（哨兵使用）sentinel slaves 返回slave及状态（哨兵使用）sentinel sentinels 返回sentinel，除本身之外的哨兵及状态（哨兵使用）sentinel get-master-addr-by

2021-10-21 11:53:58 4796

原创 docker 构建Kibana服务

一.创建文件夹mkdir escd esmkdir dockerfile #镜像构建目录mkdir shell 构建镜像、运行容器相关脚本mkdir volumes 挂载文件所在目录，一般包括日志、配置、持久化数据

2021-09-06 15:14:26 255

原创 mysql递归查询

SELECT ID,PARENTID,-- PARENTID is null 为查询起始条件，递归查询的开始节点 @le:= IF (PARENTID is null,0, -- CONCAT 字符串拼接函数 LOCATE(subStr,string) ：函数返回subStr在string中出现的位置 IF( LOCATE( CONCAT('|',PARENTID,':'),@pathlevel) > 0 , -- 以第一个逗号为分割截取

2021-09-02 11:37:12 50

原创 docker安装logstash服务

1.创建目录mkdir logstash #主目录cd logstashmkdir dockerfile #Dockerfile构建镜像目录mkdir shell #服务构建启动相关脚本mkdir volumes #挂载服务配置、日志、数据2.编写Dockerfilecd dockerfilelogstash安装比较简单，主要是需要配置一些配置文件；直接基于已有的镜像，Dockerfile基本上没有内容vim Dockerfile添加内容FROM logstash:7.4.2U

2021-08-29 01:15:30 394

原创 docker部署es服务（包含ansj、analysis-ik、analysis-pinyin中文分词器）

1.创建文件夹mkdir escd esmkdir dockerfile #镜像构建目录mkdir shell 构建镜像、运行容器相关脚本mkdir volumes 挂载文件所在目录，一般包括日志、配置、持久化数据2.准备构建镜像所需要的的三个分词器analysis-ik-7.4.2.zipanalysis-pinyin-7.4.2.zipelasticsearch-analysis-ansj-7.4.2.0-release.zip3.创建Dockerfile文件cd docke

2021-08-28 21:55:07 322

原创 docker设置mac地址、ip地址、主机名

项目上激活码申请需要指定ip、mac和hostname三个属性在将服务做成容器的情况下处理方法1.docekr 容器默认网络连接方式是bridge在安装docker服务的时候自动生成一个路由，即下面的172.17.0.1所有容器都通过连接到这个路由上与网络通信2.这种情况下如果不进行配置容器ip、mac、hostname都是不可控的解决方法1docker run有很多可以控制容器属性的optinon,包括权限、cpu、内存、网络等；控制ip、mac、hostname的三个optinon分别

2021-08-26 20:41:37 10870

原创 docker run命令

docker run [OPTIONS] IMAGE [COMMAND] [ARG…]OPTIONS说明：-a stdin: 指定标准输入输出内容类型，可选 STDIN/STDOUT/STDERR 三项；-d: 后台运行容器，并返回容器ID；-i: 以交互模式运行容器，通常与 -t 同时使用；-P: 随机端口映射，容器内部端口随机映射到主机的端口-p: 指定端口映射，格式为：主机(宿主)端口:容器端口-t: 为容器重新分配一个伪输入终端，通常与 -i 同时使用；–name=“nginx-lb

2021-08-24 21:12:59 69

原创 redis一主一从三哨兵（docker）

主从模式读写分离可以缓解redis压力但是当主redis宕机，从服务无法主动切换为master接替master的工作需要人工干预，手动切换服务无法达到高可用；所以一般主从架构都是搭配哨兵，哨兵的作用就是监视master slave 的运行状态，当主服务器宕机哨兵们会通过选举自动选出新的master服务，以保证高可用；因为需要通过投票的方式进行选举，所以哨兵的数量一般为奇数个（最简单的就是是三个哨兵）1.准备三台linux机器192.168.199.128 主192.168.199.129

2021-08-22 00:17:52 541

原创 redis主从模式（Docker）

1.准备两台linux机器192.168.199.128 主192.168.199.129 从2.两台机器上通过镜像启动容器3.修改从服务器redis配置文件（主服务器不需要改动）vim 6379.conf添加slaveof 主服务器ip 主服务器redis端口4.重启从服务器5.分别查看主从redis状态docker exec -it 容器名 bashinfo replication6.测试是否主从同步发现主服务器上存的值未同步到从服务器上原因：redi

2021-08-21 22:14:35 91

原创 Dockerfile构建redis

1.创建文件夹redismkdir rediscd redis创建三个目录mkdir shell #构建、启动、停止等脚本mkdir dockerfile #dockerfile目录mkdir volumes #挂载配置、日志、数据文件2.准备redis包、dockerfile文件cd dockerfile/wget http://download.redis.io/releases/redis-5.0.3.tar.gzll编写dokcerfile文件vim Doc

2021-08-21 18:03:20 745 1

原创 keepalived安装使用(双主模式)

1.准备两台linux机器192.168.199.128192.168.199.1292.虚拟ip192.168.199.200192.168.199.2103.两台机器已安装keepalived ipvsdm管理工具(查看负载均衡使用情况)具体安装见keepalived安装使用(主从模式)4.两台机器上修改keepalived配置文件主从模式：将一台机器配置为主，另一台机器配置为从主从是为了实现高可用，一台提供服务一台热备机，主机正常运行的情况下备机不提供服务，只有主机挂掉的情况下

2021-08-20 00:53:16 1211 1

原创 yum安装的服务设置开机自启

2021-08-19 23:09:42 551

原创 keepalived安装使用(主从模式)

1.准备两台linux机器192.168.199.128 主192.168.199.129 备2.虚拟ip 192.168.199.1803.两台机器安装keepalived ipvsdm管理工具(查看负载均衡使用情况)yum -y install keepalived ipvsadm4.keepalived配置部分解释! Configuration File for keepalivedglobal_defs { // 收件人地址 notification_email {

2021-08-18 01:01:05 245

原创 nginx配置负载均衡

1.准备两台安了nginx的机器192.169.125.128192.169.125.1292.修改两台nginx首页内容以区分两台服务器cd /usr/local/nginx/html/llvim index.html3.重启查看是否生效/usr/local/nginx/sbin/nginx -s reload4.负载均衡配置负载均衡配置格式upstream web_stream{ server 192.169.125.128:8080; server

2021-08-15 18:44:04 284

原创 dockerfile构建nginx web服务

1.创建dockerfile构建目录mkdir docker-projectll2.创建docker容器挂载目录mkdir web-projectll3.创建docker脚本文件夹mkdir docker-commondll4.编写dockerfile文件cd docker-project/vim web-Dockerfile添加内容FROM nginx:1.19.6#创建者的基本信息MAINTAINER mfw#更改系统的时区（如果web应用里有用到时区变

2021-08-15 15:34:47 360

原创 docker容器启动后马上退出

docker run/ docker start启动容器后容器退出先查看容器退出码是什么docker ps -a正常退出一般是0如果是0大概率是docker中的进程没有设置为前台运行,dokcer 容器中必须有一个活动的前台进程如果不是0则可能是容器启动过程中出了问题；可以通过容器日志查看具体原因docker logs -f -t --tail 100 容器名...

2021-08-15 13:18:05 444

原创 docker私有仓库使用

基于centos7.9docker 版本Docker version 20.10.8, build 3967b7d已搭建harbor私有仓库1.配置镜像加速及私有仓库地址vim /etc/docker/daemon.json添加内容（格式有缩进要求）{ "registry-mirrors": ["http://hub-mirror.c.163.com","https://fsqbo5wy.mirror.aliyuncs.com","https://registry.docker-cn

2021-08-15 00:17:54 221

原创 dockerfile初试

已安装好doker环境（前提）编写Dockerfile文件:创建一个目录作为镜像目录makdir docker-filecd docker-file将项目war包copy到这个目录下编写Dockerfile文件，构建镜像如果不指定Dockerfile文件名默认读Dockerfile文件vim Dockerfiledocker build -t [容器名] . 注意：后面有个点，表示当前目录下docker build -t xcoa-project .查看构建的镜像这里演

2021-08-08 23:05:43 287

原创 docker私有仓库搭建

基于centos 7.9版本1.之前有过安装（为了演示先卸载）yum -y remove docker2.安装dockeryum install docker docker-compose3.启动服务service docker start4.下载最新版包wget https://github.com/goharbor/harbor/releases/download/v2.3.1/harbor-offline-installer-v2.3.1.tgz如果连不上可以本地下载后上

2021-08-07 14:53:03 88

原创 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

yum install docker后需要启动服务执行service docker start

2021-08-07 11:52:56 40

原创 linux查看服务器端口开放情况

查看所有开放的端口netstat -napl查看开放的udp端口netstat -nupl查看开放的tcp端口netstat -ntpla 表示所有n 表示不查询dnst 表示tcp协议u 表示udp协议p 表示查询占用的程序l 表示查询正在监听的程序开放指定端口firewall-cmd --zone=public --add-port=6379/tcp --permanent–zone #作用域–add-port=6379/tcp #添加端口，格式为：端口/通讯协议–

2021-07-17 01:34:34 559

原创 centos7查看防火墙状态

sudo firewall-cmd --state关闭后显示notrunning，开启后显示running关闭防火墙停止sudo systemctl stop firewalld.service禁止防火墙开机自启sudo systemctl disable firewalld.service打开防火墙

2021-07-17 01:26:57 155

空空如也

空空如也