anyajiao6123-CSDN博客

转载 Flunetd 用于统一日志记录层的开源数据收集器

传统的日志查看方式使用fluentd之后一、介绍Fluentd是一个开源的数据收集器，可以统一对数据收集和消费，以便更好地使用和理解数据。几大特色：使用JSON统一记录简单灵活可插拔架构最小的资源需求内置可靠性1. JSON统一记录Fluentd尽可能地将数据结构转化为JSON格式，这样可以使Fluentd统一处理日志数据的各个方面：收集，过滤，缓冲和输出多个源...

2017-07-31 23:45:00 257

转载资深小白带你走进OS Memory

图片来源：http://www.tomshardware.com/序言：　　Memory（内存）是一台计算机组成的重要部分，也是最基础的一部分。其它基础组件有主板、CPU、磁盘、显卡（可独立可集成）等。写这篇文章源自后面的一个案例，出于想搞明白，以及分享以前关于内存方面的一些记录的知识点。　　本文概要主要讲了内存的介绍；如何正确查看系统内存使用率；对Swap分区进行介绍；...

2017-06-06 09:30:00 406

转载在Centos7 更改Docker默认镜像和容器的位置

　　　　　　　　　　　　　　　　　　　　　　图片出处：https://bobcares.com/wp-content/uploads/docker-change-directory.jpg一、Why？通常，当你开始使用docker时，我们并不太关心Docker 用于存储镜像和容器的默认目录。当使用Docker进行更多实验时，Docker开始占用大量的空间时，你不得不按下紧急按...

2017-05-11 08:18:00 357

转载 Supervisor: 进程控制系统

Supervisor: 进程控制系统概述：Supervisor是一个 Client/Server模式的系统，允许用户在类unix操作系统上监视和控制多个进程，或者可以说是多个程序。它与launchd，daemontools，runit等程序有着相同的功能，与其中某些程序不同的是，它并不作为“id 为 1的进程”而替代init。相反，它用于控制应用程序，像启动其它程序一样，通俗理解...

2017-05-02 09:56:00 208

转载为什么不能将客户端的连接请求跳转或转发到本机lo回环接口上？

一、为什么不能将本机的请求跳转/转发到回环接口上？　　如上图一样，服务器对外只开放了一个80端口，但是web服务监听在了lo 接口上8080端口上，现在要实现外网通过访问服务器的80端口，来提供web服务。（有人可能会说这样做没有意义啊！你直接把web服务的监听ip和端口改成外网ip和80端口上就得了）。有意义无意义，我也不清楚，只是想从技术上考虑能否实现？像平常一样，做个DNA...

2017-04-18 09:39:00 672

转载如何用正确的姿势查看主机系统的CPU信息

一、关于CPU的几个概念CPU的作用计算机中的中央处理单元（CPU）执行基本的计算工作 -- 运行程序。但是，一个单核的CPU同一时间只能一次执行一个任务，为了提高计算机的处理能力，也就出现了多CPU，超线程（HT）和多核CPU的技术。大多数计算机只有一个物理CPU。单个CPU可能具有多个内核或超线程技术，但是仍然只有一个物理CPU插入主板上的单个CPU插槽。在超线程和多...

2017-03-23 10:04:00 235

转载 Ansible 系列之 Playbooks 剧本（1）

一、Playbooks 介绍1.Playbooks是Ansible的配置，部署和编排语言。它们可以描述您希望远程系统执行的策略，或一般IT流程中的一组步骤。如果说ansible模块是你车间里的工具，那么playbooks 是你的说明书／使用手册，并且资源清单上的主机是你的原材料。在基本层面上，剧本可以用于管理远程主机的配置与部署，在更高的一层来说，它们可以对涉及...

2017-03-03 10:35:00 271

转载 Ansible 系列之 Ad-Hoc介绍及使用

Ad-Hoc 介绍一、什么是ad-hoc 命令？ad-hoc 命令是一种可以快速输入的命令，而且不需要保存起来的命令。就相当于bash中的一句话shell。这也是一个好的地方，在学习ansible playbooks时可以先了解另外一种ansible基本的快速用法，不一定非要写一个palybook文件。一般来说，ansible的强大之处在于它的playbook 剧本。但为什么...

2017-03-02 09:53:00 290

转载 Ansible 系列之 Patterns

Ansible 之 Patterns1.Ansible中的Patterns决定了我们要管理哪个主机，意思是与哪些主机进行交互。我们将在Ad-Hoc（Ad-Hoc 是指临时执行的命令，要结合着模块进行使用，可通过ansible-doc -l查看模块的列表）命令行中进行介绍，本文中，ansible 的hosts 清单文件内容如下：[root@docker ~]# cat...

2017-02-23 12:29:00 115

转载 Ansible 系列之 Inventory 资源清单介绍

一、Inventory 库存清单文件1.Inventory 作用　　Ansible 可以在同一时间针对多个系统设施进行管理工作。它通过选择Ansible 资源清单文件中列出的系统，该清单文件默认是在/etc/ansible/hosts，也可以使用 -i <path> 进行路径的指定。文件内的格式INI 风格，中括号内为分组名。除了这个文件之后，还可以同时使...

2017-02-21 09:57:00 206

转载使用Grafana 展示Docker容器的监控图表并设置邮件报警规则

一、Docker 容器监控报警方式　　　　接着上篇文章的记录，看到grafana的版本已经更新到v4.1.1了，并且在4.0以后的版本中，加入了Alert Notifications 功能，这样在对容器监控完，可以加入报警规则。根据官网介绍，报警方式也有很多种，常见的Email、Slack即时通讯、webhook等。　　本篇记录的是邮件的报警设置。环境和上篇基本一致，...

2017-01-20 11:31:00 662

转载利用谷歌开源工具cAdvisor 结合influxdb存储＋Grafana前端展示进行Docker容器的监控...

一、Docker 监控方式1.利用docker 的 docker stats API命令： docker stats [容器ID/容器名称][root@docker ~]# docker stats --helpUsage: docker stats [OPTIONS] [CONTAINER...]Display a live stream of ...

2017-01-17 14:49:00 175

转载 Docker 定制容器镜像的2种方法

一、需求　　由于在测试环境中使用了docker官网的centos 镜像，但是该镜像里面默认没有安装ssh服务，在做测试时又需要开启ssh。所以上网也查了查资料。下面详细的纪录下。在centos 容器内安装ssh后，转成新的镜像用于后期测试使用。　　二、镜像定制第一种方式（手动修改容器镜像）1.先下载centos镜像[root@docker ~]# ...

2016-12-07 17:18:00 996

转载自动化运维工具之 Ansible 介绍及安装使用

一、初识Ansible介绍：　　Absible使用模块（Modules）来定义配置任务。模块可以用标准脚本语言（Python，Bash，Ruby，等等）编写，这是一个很好的做法，使每个模块幂等。Ansible剧本（YAML语言编写）角色映射到节点/虚拟机上，以对这些节点/虚拟机进行编排有序的执行。Ansible支持ad-hoc任务：管理任务（不必幂等）以在多个节点/虚拟...

2016-12-06 15:13:00 156

　　本文由来：之前工作需要，在查找运维自动化资料时，发现了这篇文章的英文原版，觉得很不错。它综合的介绍了哪些工具，我们运维人员需要掌握，并且如何进行结合其它工具一起使用。给了一些指导性的意见。由于是英文的，于是便有了想翻译成中文的想法。分享给需要的同学们。结合着谷歌翻译大法，于是便有了这篇文章。如文中哪里翻译有误，还请大家指出哈，我会及时进行修正的。????????　　以下是正文，此处应有分隔线...

2016-11-28 08:37:00 186

转载使用Kibana 分析Nginx 日志并在 Dashboard上展示

一、Kibana之Visualize 功能在首页上Visualize 标签页用来设计可视化图形。你可以保存之前在discovery中的搜索来进行画图，然后保存该visualize，或者加载合并到 dashboard 里。一个可视化可以基于以下几种数据源类型：一个新的交互式搜索一个已保存的搜索一个已保存的可视化下面是kibana自带的几种visualize类型类型　　　　　　...

2016-10-31 23:24:00 1333

转载 rsync同步Nginx日志遇到问题总结

一、目的将nginx 日志通过普通用户利用rsync公钥认证的方式实时同步到本地服务器上，之后使用elk程序进行处理。二、遇到问题及解决方法思路问题1.文件权限：nginx 的日志默认权限如下：[root@elk ~]# ll /var/log/nginx/access.log-rw-r----- 1 nginx adm 36330 Sep 11 10:26 /v...

2016-09-13 22:18:00 136

转载 Centos7 禁止firewalld并使用iptables 作默认防火墙

一、停止并禁用firewalld[root@test ~]# systemctl stop firewalld[root@test ~]# systemctl disable firewalldRemoved symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.Removed sy...

2016-09-11 20:34:00 130

转载在Kibana上格式化字段，更好的在dashboard上展示

一、为什么要格式化？接着之前的文章-利用 ELK系统分析Nginx日志并对数据进行可视化展示。下面是http访问的日志，里面有一个字段，bytes 传输的字节，如下图：绿色框框内选中的就是本次请求的传输大小，590byte，但是在画图统计后，显示的不太直观。如果能转换成KB/MB/GB那样就比较直观了。。。二、如何格式化？1.主要步骤进入Settings...

2016-09-10 14:17:00 919

转载利用 ELK系统分析Nginx日志并对数据进行可视化展示

一、写在前面　　结合之前写的一篇文章：Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用HTTP 基本认证加密用户登录。（关于elk权限控制，我所了解的还有一种方式－Shi...

2016-09-09 23:58:00 1064

转载 Nginx 服务器开启status页面检测服务状态

一、Nginx status monitor　　和apache 中服务器状态一样。输出的内容如：　　　　第1列：当前与http建立的连接数，包括等待的客户端连接：2第2列：接受的客户端连接总数目：20处理的客户端连接总数目：20客户端总的请求数目：50第3列：当前，nginx读请求连接当前，nginx写响应返回给客户端目前有多少空闲客...

2016-09-01 15:13:00 332

转载 Linux 上通过binlog文件恢复mysql 数据库详细步骤

一、binlog 介绍　　服务器的二进制日志记录着该数据库的所有增删改的操作日志(前提是要在自己的服务器上开启binlog)，还包括了这些操作的执行时间。为了显示这些二进制内容，我们可以使用mysqlbinlog命令来查看。　　用途1：主从同步　　用途2：恢复数据库（也是线上出现一次数据库文件丢失后，才对这个有所了解并学习的）　　mysqlbinlog命令用法：shell...

2016-08-10 16:28:00 174

转载 Linux 为FTP 服务器添加iptables规则--案例分析

一、故障描述　　由于开发提出需求，为他们搭建内部ftp服务器，搭建好后，提交给他们，测试可以正常使用。后来过了一段时间后，有一天无法登陆了。于是去ftp主机上检查问题，ftp的配置文件没有改动，端口监听也正常。telnet也可以通。但是用网页，或者winscp 访问就是无法连接。后来谷歌后，发现ftp的iptables 规则比其它应用不太像，有点特别。需要特别的修改下防火墙。（询问后...

2016-07-29 15:47:00 153

转载 linux 系统管理实战技巧

一、这篇文章讲了什么？　　这篇文章很有参考性哈。本来是想等一段时间有更多条技巧后在发布的，不过，突然发现，我是去年的今天在博客园落户了，祝我的博客一周岁快乐，希望以后多分享一些文章啦。所以就把草稿箱的其中一篇很实用性的linux小技巧分享给运维的基友们。后续该篇文章会一直更新新技巧哟。感谢童鞋们的关注哈。　　二、干货开始啦！1.查看端口监听[root@opm ~]...

2016-07-25 21:45:00 6873

转载 NUMA架构的CPU -- 你真的用好了么？

作者：卢钧轶(cenalulu) 本文原文地址：http://cenalulu.github.io/linux/numa/。本文是最近在查找kvm相关优化资料查找到的，看过之后，似懂非懂，但多了一个linux 系统优化思考的方向，很不错。要学的东西越来越多了。最后，感谢大神的精彩分享。另外分享一篇IBM技术文库中的文章：https://www.ibm.com/developer...

2016-07-19 16:17:00 141

转载 Linux 上利用Nginx代理uWSGI处理Flask web应用

一、介绍　　最近开发要用一个测试环境，是这样的Nginx+uwsgi+flask 的一个结构。下面是一些记录，在Centos 系统上使用Flask 架构部署一个简单的Python应用。然后使用Nginx作为前端反向代理，设置uWSGI应用网关处理web应用程序。二、条件1) 环境要求Server OS：最小化安装 Centos 6.8Nginx ：...

2016-06-29 13:14:00 351

转载 Linux 之不同运维人员共用root 账户权限审计

一、为什么？　　在中小型企业，公司不同运维人员基本都是以root 账户进行服务器的登陆管理，缺少了账户权限审计制度。不出问题还好，出了问题，就很难找出源头。　　这里介绍下，如何利用编译bash 使不同的客户端在使用root 登陆服务器使，记录各自的操作，并且可以在结合ELK 日志分析系统，来收集登陆操作日志二、环境　　服务器：centos 6.5、Developmen...

2016-05-26 20:36:00 259

转载利用docker 最新漏洞渗透--提取root 权限

一、事出　　　　近期乌云漏洞平台等科技新闻，爆出Docker虚拟化端口漏洞，本着热爱开源，实践动手的精神，我也去尝试了下，漏洞严重性确实很高，可以拿到root 登陆账户。二、还原2.1 通过扫描，我们找到了一些主机，下面是其中一台运行了docker 主机的服务器，并且开了ssh 端口知道了22端口后，我们后面会利用此端口来使用root免密码登陆该主机。2.2...

2016-05-25 14:08:00 335

转载 Centos7 之安装Logstash ELK stack 日志管理系统

一、介绍　　　　The Elastic Stack- 它不是一个软件，而是Elasticsearch，Logstash，Kibana 开源软件的集合，对外是作为一个日志管理系统的开源方案。它可以从任何来源，任何格式进行日志搜索，分析获取数据，并实时进行展示。像盾牌（安全），监护者（警报）和Marvel（监测）一样为你的产品提供更多的可能。　　Elasticsearch：搜索...

2016-05-23 20:46:00 243

转载 Linux 之利用Google Authenticator实现用户双因素认证

一、介绍：什么是双因素认证　　双因素身份认证就是通过你所知道再加上你所能拥有的这二个要素组合到一起才能发挥作用的身份认证系统。双因素认证是一种采用时间同步技术的系统，采用了基于时间、事件和密钥三变量而产生的一次性密码来代替传统的静态密码。每个动态密码卡都有一个唯一的密钥，该密钥同时存放在服务器端，每次认证时动态密码卡与服务器分别根据同样的密钥，同样的随机参数（时间、事件）和同样的算法...

2016-05-23 08:38:00 449

转载 Linux 之rsyslog+LogAnalyzer 日志收集系统

一、LogAnalyzer介绍　　LogAnalyzer工具提供了一个易于使用，功能强大的前端，用于搜索，查看和分析网络活动数据，包括系统日志，事件日志和其他许多日志源。由于它只是将数据展示到我们用户的面前，所以数据本身需要由另一个程序收集，比如syslogd，rsyslog（现在是发行版的默认的syslogd），WinSyslog或MonitorWare代理。LogAnalyzer同样...

2016-05-10 19:20:00 229

转载 Linux 之 rsyslog 系统日志转发

一、rsyslog 介绍　　ryslog 是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地，据官网介绍，现在可以处理100万条信息。　　特性：1.多线程　　　　　2.支持加密协议：ssl，tls，relp　　　　　3.mysql、oracle、postgreSQL　　　...

2016-05-05 20:57:00 386

转载 Linux 利用hosts.deny 防止暴力破解ssh

一、ssh暴力破解　　利用专业的破解程序，配合密码字典、登陆用户名，尝试登陆服务器，来进行破解密码，此方法，虽慢，但却很有效果。二、暴力破解演示2.1.基础环境：2台linux主机（centos 7系统）、Development Tools.　　主机ip：192.168.30.64 （服务器端）、192.168.30.63（客户端+ 暴力破解【Hydra】）　　在30...

2016-05-03 19:50:00 345

转载 linux 利用nethogs查看某进程的网卡流量

一、nethogs介绍　　分享一个linux 下检测系统进程占用带宽情况的检查。来自github上的开源工具。　　它不依赖内核中的模块。当我们的服务器网络异常时，可以通过运行nethogs程序来检测是那个程序占用了大量带宽。节省了查找时间。二、安装方法1.在epel 源中可以直接yum 安装yum install libpcap nethogs -y2.源...

2016-04-27 16:58:00 160

转载 zabbix 报警方式之微信公众号报警（5）

一、条件　　首先你得有一个微信公众号，并且是可以有发送消息的接口。然后你得有个脚本去调用微信的api。　　这里感谢一下微信。使我们运维人员的报警方式多了一种。。。（同事们不要怪我哈。）　　之后可以参考下zabbix 的搭建，然后了解下脚本报警，之后再考虑报警方式的多样化。二、申请公众号：　　1.申请页面：　　　　2.申请时记得选择团队。　　3.在组织...

2016-04-08 15:17:00 129

转载 zabbix 报警方式之邮件报警（4）

一、为什么要自定义邮件脚本报警？　　灵活，方便。可以自定义过滤信息。　　下面是使用不同方式的邮件报警，一个是利用sendEmail程序来发送报警邮件，第二个是利用python脚本来发送邮件。二、sendEmail的部署步骤　　1.官方介绍：http://caspian.dotconf.net/menu/Software/SendEmail/　　2.先下载安装包到本地，...

2016-04-08 10:07:00 189

转载 zabbix server的Discover功能，实现zabbix agent 大批量的自动添加，并链接到指定的模版（3）...

一、需求　　zabbix 服务器可以手动加入zabbix-agent客户端，对于少量的机器，这没有什么。但到了线上，我们有大量的服务器需要监控时，如果再一个个的手动加的话，工作量势必会增加很多。这时，zabbix-server 的Discovery 自动发现功能便派上了用场。二、条件　　1.zabbix server 已经部署好，所需要加入的服务器zabbix-agent已...

2016-04-07 16:00:00 210

转载 Centos 6.5 下安装 Zabbix server 3.0服务器的安装及监控主机的加入（2）

一、Centos 6.5 下的Zabbix Server安装　　上篇文章记录的是centos 7 下安装zabbix ，很简单。但是6.5上面没有可用的源直接安装zabbix，所以需要从别处下载。感谢itnihao团队的制作。二、基础环境　　zabbix server：系统：最小化安装 centos6.5 + Development Tools　　　　　　　　　　内存：2...

2016-04-07 14:51:00 245

转载 Centos 7.0 下安装 Zabbix server 3.0服务器的安装及监控主机的加入（1）

一.本系列分为6部分　　1.Centos 7.0 下安装 Zabbix server 3.0服务器的安装及监控主机的加入　　2.Centos 6.5 下安装 Zabbix server 3.0服务器的安装及监控主机的加入　　3.zabbix server的Discover功能，实现zabbix agent 大批量的自动添加，并链接到指定的模版　　4.zabbix 报警...

2016-04-04 22:55:00 175

转载 Linux系统级别能够打开的文件句柄的数file-max命令

简单的说, max-file表示系统级别的能够打开的文件句柄的数量, 而ulimit -n控制进程级别能够打开的文件句柄的数量.man 5 proc, 找到file-max的解释：file-max中指定了系统范围内所有进程可打开的文件句柄的数量限制(系统级别, kernel-level). （The value in file-max denotes the maximum numb...

2016-03-31 16:05:00 111

空空如也

空空如也