- 博客(18)
- 收藏
- 关注
RSS订阅原创 ELK 7.4.1 安装配置手册之filebeat收集日志
安装filebeat[root@node03 ~]# yum localinstall filebeat-7.4.1-x86_64.rpm -y配置手机脚本[root@node03 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs:- type: log enabled: true...
2019-12-29 20:34:42
598
原创 ELK 7.4.1 安装配置手册之logstash基础安装配置
搭建 logstash-7.4.1安装logstash[root@node01 ~]# yum localinstall logstash-7.4.1.rpm -y配置启动参数[root@node01 ~]# cd /etc/logstash/[root@node01 logstash]# vim jvm.options &nbs...
2019-12-29 20:32:26
617
原创 ELK 7.4.1 安装配置手册之kibana基础安装配置
搭建 kibana-7.4.1安装kibana[root@node01 ~]# yum localinstall kibana-7.4.1-x86_64.rpm -y配置启动参数[root@node01 kibana]# cp kibana.yml{,.bak}[root@node01 kibana]# vim kibana.yml server.port: 5601...
2019-12-29 20:31:13
621
原创 ELK 7.4.1 安装配置手册之elasticsearch相关插件安装配置
elasticsearch相关插件安装配置安装es插件[root@node01 ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install analysis-icu安装IK分词器（中文分词器） ，因为版本不一致没办法下载更新的，所以这一步不做[root@node01 ~]# mv elasticsearch-analysi...
2019-12-29 20:17:12
421
原创 ELK 7.4.1 安装配置手册之elasticsearch集群搭建
搭建 elasticsearch 7.4.1安装es （一般es集群至少配置三台机器）[root@node01 ~]# yum localinstall elasticsearch-7.4.1-x86_64.rpm -y修改启动参数[root@node01 ~]# cd /etc/elasticsearch/[root@node01 el...
2019-12-29 19:54:39
600
原创 AirFlow 常见问题
文章目录AirFlow 常见问题安装问题1、安装出现ERROR “python setup.py xxx” 。问题：解决方法：2、ERROR: Cannot uninstall 'enum34' 。问题：解决方法：3、安装软件报错，提示软件包找不到问题：ERROR: Command errored out with exit status 1:解决方法：4、提示找不到Python.h 这个文件或...
2019-12-29 18:56:13
12535
原创 AirFlow 管理界面使用
文章目录AirFlow管理界面的使用AirFlow 的webserver UIDAGS作业操作框查看日志所有的任务实例记录了所有DAG的运行情况XComsFlower UI （待补充）AirFlow管理界面的使用AirFlow 的webserver UIDAGS左侧 On/Off 按钮控制 DAG 的运行状态，Off 为暂停状态，On 为运行状态。注意：所有 DAG 脚本初次部署完成...
2019-12-29 18:51:51
6120
1
原创 管理 AirFlow 方法
文章目录管理 AirFlow 方法进程管理工具Supervisord进程管理工具 systemd使用脚本管理airflow获取日志信息的改造删除DAG集群管理脚本集群服务上线脚本集群服务下线脚本修改ariflow 时区问题管理 AirFlow 方法进程管理工具Supervisord安装进程管理工具Supervisord管理airflow进程easy_install supervis...
2019-12-29 18:42:00
981
4
原创 AirFlow 安装配置
文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点（集群）部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点（高可用）队列服务及元数据库(Metestore)的高可用。airflow 集...
2019-12-27 09:34:20
1092
原创 AirFlow介绍
文章目录AirFlow介绍一、AirFlow是什么1、优劣势分析二、AirFlow中的作业和任务1、DAG2、Task三、AirFlow的调度时间1、start_date2、schedule_interval3、execution_date四、AirFlow的核心概念五、AirFlow 各组件介绍1、webserver2、scheduler3、celery worker4、flower六、AirF...
2019-12-27 09:17:29
2822
原创 ELK 7.4.1 安装配置手册之前期环境搭建
ELK 7.4.1 安装配置手册之前期环境搭建一. openjdk安装1、说明因为elasticsearch 7.4.1 需要依赖于java 11或以上的版本才可以运行，所以此处选择直接使用openjdk-13.0.1 的版本进行安装 。本章主要介绍openjdk 的环境搭建jdk下载链接： https://pan.baidu.com/s/1ZRPFSSTvsk2n4...
2019-11-20 15:24:02
306
原创 redis cluster + redis replication 搭建
redis cluster + redis replication 搭建环境部署搭建192.168.255.250[root@vt-manager 3010]# grep -vE "^#|^$" redis.confbind 192.168.255.250 ##一定要写本机ip并且建立集群的时候要用这个ip建立port 3010daemonize yes #守护线程模式（后台启...
2019-10-22 14:50:51
559
原创 docker 02 Docker 命令大全
Docker 命令大全容器生命周期管理runstart/stop/restartkillrmpause/unpausecreateexec容器操作psinspecttopattacheventslogswaitexportport容器rootfs命令commitcpdiff镜像仓库loginpullpushsearch本地镜像管理imagesrmitagbuildhi...
2019-10-05 16:21:04
297
原创 docker 05 非正常应用方式启动的镜像制作
非正常应用方式启动的镜像制作，其实就是制作一些不是默认使用rpm安装的程序镜像目前市场上很多都是jar 包启动，所以启动的方式也不能按照正常来进行下面将以两种镜像制作例子展示：第一种方式：build.sh#!/bin/bashdocker build -t docker.anyonedev.com/public/httpd:2.4.6 .docker push docker.anyo...
2019-10-05 15:00:42
136
原创 docker 04 Docker 制作自定义镜像包
制作自定义镜像包的两种方式 1、创建容器并对容器进行修改，然后打包容器为镜像 2、使用Dockerfile编排镜像自定义镜像1、创建一个容器 docker run -itd centos2、进入容器进行修改配置 docker exec -it 容器id bash 停止容器，不是必须的3、创建镜像并验证 docker commit 容器id 镜像名...
2019-10-05 14:52:50
553
原创 docker 03 docker run 使用
docker run 使用-i 交互式的-t 分配终端-d 把容器放在后台运行docker run -it centos cmd 启动一个交互式的容器，在前台运行docker run -d centos cmd 启动一个非交互式的容器，在后台运行docker run -itd centos cmd 启动一个交互式的容器，...
2019-10-05 14:46:29
530
1
原创 jenkins 安装及配置部署操作 （jenkins+svn+tomcat and jenkins+git+maven+tomcat）
jenkins rpm软件包下载地址： https://pkg.jenkins.io/redhat/jenkins 软件包下载地址： https://jenkins.io/download/jenkins 插件下载地址： http://ftp.icm.edu.pl/packages/jenkins/plugins/文档相关软件下载链接链接：ht...
2019-10-04 11:42:07
1263
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人