ajawsszc062112-CSDN博客

转载 Nginx开启跨域访问

CORS on NginxThe following Nginx configuration enables CORS, with support for preflight requests.## Wide-open CORS config for nginx#location / { if ($request_method = 'OPTIONS') {...

2018-06-15 12:17:00 233

转载 ubuntu的boot分区报警，删除无用内核文件。

1. 查看当前使用内核：uname -r4.4.0-97-generic2. 查看安装的内核dpkg --list 'linux-image*'3. 删除旧内核sudo apt-get remove linux-image-VERSIONsudo apt-get remove linux-image-4.4.0-21-genericsudo apt-get remove li...

2018-05-24 16:07:00 189

转载 Nginx反代，后端一个IP绑定多个SSL证书，导致连接失败之解决方法：HTTPS和SNI扩展...

默认：SSL协议进行握手协商进行连接的时候，默认是不会发送主机名的，也就是是以IP的形式来进行https连接握手协商的，这就导致一个问题，当一台服务器上有多个虚拟主机使用同一个IP的时候，Nginx进行反代就会报错！SNI(Server Name Indication)：就是为了解决一个服务器，同一个IP，使用多个域名证书的情况，也就是使用SSL连接服务器的时候，先发送访问...

2018-04-17 18:09:00 838

转载 Nginx日志统一格式

统一格式如下：nginx.conf纯文本： log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent"...

2018-03-21 15:27:00 149

转载 curator管理es索引

安装curator------------------rpm --import https://packages.elastic.co/GPG-KEY-elasticsearchvi /etc/yum.repos.d/curator.repo[curator-5]name=CentOS/RHEL 6 repository for Elasticsearch Curator 5.x p...

2018-03-21 14:32:00 163

转载 logstash日志写到es，按照时间来进行切割，生成索引配置

配置如下：es创建索引使用：logstash-chat-proxy-nginx-access-* logstash-chat-proxy-nginx-error-* 转载于:https://www.cnblogs.com/zhaojonjon/p/8616756.html

2018-03-21 14:19:00 2611

转载 logstash的grok正则匹配规则文件

文件路径：logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.0/patterns/grok-patterns在线调试grok规则匹配网址：https://grokdebug.herokuapp.com/转载于:https://www.cnblogs.com/zhaojonjon/p/86167...

2018-03-21 14:14:00 637

转载使用Nginx的配置对cc攻击进行简单防御

ddos攻击：分布式拒绝服务攻击，就是利用大量肉鸡或伪造IP，发起大量的服务器请求，最后导致服务器瘫痪的攻击。cc攻击：类似于ddos攻击，不过它的特点是主要是发起大量页面请求，所以流量不大，但是却能导致页面访问不了。使用Nginx的配置对cc攻击进行简单防御=============================================================...

2018-02-20 10:19:00 215

转载 shell脚本报错退出

在shell脚本中，比如有以下的代码：cd /root/test88rm -rf backup如果目录/root/test88不存在，脚本不会停止，依然会执行rm -rf backup这个命令要让脚本停止执行：#!/bin/bash -e或set -e转载于:https://www.cnblogs.com/zhaojonjon/p/7865757.htm...

2017-11-20 12:37:00 896

转载 shell中的特殊变量

常见的特殊变量：$* 和 $@ 的区别：1. 在这两个变量没有被双引号""引起来的时候，它们没有区别。2. 在这两个变量被双引号""引起来的时候，"$*"会将所有的参数作为一个整体，以"$1 $2 $3 ...$n"输出，"$@"会将各个参数分开，以"$1" "$2" "$3" ..."$n" 形式输出转载于:https://www.cnblogs.com...

2017-10-25 09:17:00 78

转载 circusctl命令在ubuntu 上执行，卡住的现象处理。

1. circus介绍 circus是一个进程管理工具，类似于supervisod。 2. circusctl是circusd进程的管理工具3. circus的安装 pip3 install circus 4. 在ubuntu 上，使用pip3安装的circus，执行circusctl命令的时候，比如circusctl reload/restart等，命令执行完成，输...

2017-10-20 14:43:00 344

转载 ubuntu 16.04.1 LTS zabbix-agent安装

$ wget http://repo.zabbix.com/zabbix/3.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_3.0-1+xenial_all.deb$ sudo dpkg -i zabbix-release_3.0-1+xenial_all.deb$ sudo apt update$ sudo apt-get...

2017-10-18 15:54:00 195

转载 ubuntu 16.04.1 LTS 初始化

gcc环境------------------sudo apt-get update && \sudo apt-get install build-essential software-properties-common -y && \sudo add-apt-repository ppa:ubuntu-toolchain-r/test -y &&...

2017-10-17 16:06:00 107

转载 Ubuntu开机启动的方式

方法一：--------------------------------------------------1. 在/etc/init.d/下放置启动脚本，比如postgresqlroot@ubuntu:/etc/init.d# cat postgresql #!/bin/shset -e### BEGIN INIT INFO# Provides: postgresql# Requ...

2017-10-17 16:03:00 123

转载 ubuntu 16.04.1 LTS postgresql安装配置

postgresql安装--------------------二进制安装：wget https://get.enterprisedb.com/postgresql/postgresql-9.5.6-1-linux-x64-binaries.tar.gztar xf postgresql-9.5.6-1-linux-x64-binaries.tar.gz -C /usr/local/us...

2017-10-17 16:02:00 120

转载 ubuntu 16.04.1 LTS redis安装配置

编译安装：apt-get updateapt-get install build-essential tclwget http://download.redis.io/redis-stable.tar.gztar xf redis-stable.tar.gz cd redis-stable;make;make install配置文件：cp /root/work/redis-stabl...

2017-10-17 16:00:00 98

转载 ubuntu 16.04.1 LTS python 3.5.2安装

python 3.5.2安装-----------------------apt-get -y install build-essential checkinstallapt-get install -y libreadline-gplv2-dev libncursesw5-dev libssl-dev libsqlite3-dev tk-dev libgdbm-dev libc6-d...

2017-10-17 15:59:00 405

转载 window下安装rsyncServer

window下安装rsyncServer---------------------------------1. 解压cwRsyncServer_4.0.5_Installer.zip，安装。2. 复制rsyncd.conf和rsync.passwd到安装目录，并根据实际情况修改rsyncd.conf3. 到服务中修改服务启动方式为自动，并启动。4. 到防火墙中添加873端口...

2017-10-06 09:20:00 157

转载 ansible管理window

设置window以支持远程执行命令=======================================升级powershell到3.0+----------------------------------1. 安装.NET Framework 4.5http://download.microsoft.com/download/B/A/4/BA4A7E71-2906-4B2D...

2017-10-02 09:00:00 98

转载 kafka常用命令

1. 查看topic列表/data/elk/kafka/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list2. 查看offset/data/elk/kafka/bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --topic web-vip-p...

2017-09-29 16:54:00 76

转载 ELK集群

kafka集群-------------------1. 下载wget http://mirror.rise.ph/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz2. 安装tar xf kafka_2.12-0.11.0.0.tgzmv kafka_2.12-0.11.0.0 /data/elk/kafka3. 配置文件 3.1 节点1 #...

2017-09-19 14:10:00 188

转载 ELK故障：elk在运行一段时间后，没有数据。

故障排查：1. 查看kafka、logstash、elasticsearch进程是否运行正常，显示正常。2. 使用logstash在前台运行，有日志输出3. 查看kafka的topic的offset，发现offset停止不动原因分析：日志量过大，导致kafka堵塞。解决方法：增加kafka节点和最大化kafka性能如果还没有日志，那还有可能是logstas...

2017-09-08 14:57:00 1117

转载 superviosrd进程管理

supervisor进程管理器---------------------------1. 安装依赖yum install python-setuptools-devel2. 安装supervisorpip install supervisor 或者 easy_install supervisor3. 生成配置文件echo_supervisord_conf > /etc/s...

2017-09-05 17:03:00 500

转载 kibana- Pie

1. Visualize 新建图形2. 选择图形类型3. 选择索引4. 设置Pie参数5. 保存图形转载于:https://www.cnblogs.com/zhaojonjon/p/7357773.html

2017-08-14 14:44:00 290

转载 kibana- Timelion

1. Visualize 新建图形2. 选择图形类型3. 选择索引4. 设置Timelion表达式5. 保存图形转载于:https://www.cnblogs.com/zhaojonjon/p/7357633.html

2017-08-14 14:24:00 333

转载 kibana-metric

1. Visualize 新建图形2. 选择图形类型3. 选择索引4. 设置metric参数4.1 count4.2 unique count5. 保存图形转载于:https://www.cnblogs.com/zhaojonjon/p/7357451.html...

2017-08-14 14:00:00 272

转载 kibana-Coordinate Map

1. Visualize 添加图形2. 选择图形类型 Coordinate Map3. 选择索引4. 设定成图的聚合字段如果有数据，点击右上角的三角形，地图上就会有显示。5. 保存图形转载于:https://www.cnblogs.com/zhaojonjon/p/7357413.html...

2017-08-14 13:53:00 381

转载 eleasticsearch重要配置

elasticsearch重要配置=====================================日志和数据目录-----------------path: logs: /var/log/elasticsearch data: /var/data/elasticsearch 注意：生产环境最好不要保留默认配置，不然在升级elasticsearch的时候，这些目...

2017-08-14 13:40:00 95

转载 elasticsearch REST api

elasticsearch REST api========================================命令模式：<REST Verb> /<Index>/<Type>/<ID>插入索引------------PUT /customer?pretty查询索引列表-------------GET /_cat/indices...

2017-08-14 13:39:00 76

转载 redis代替kafka做缓存队列

前言：刚上线elk一个月左右，使用的kafka作为缓存队列，但是不知道为何，中间发生过好几次，elk突然没数据了，长达好几天都没有，折腾了好久，好了，过几天又发生同样的状况。经查找，数据是有到达kafka，但是logstash读取不了。无奈之下，只能把kafka 更换为redis。 filebeat配置-------------filebeat: pro...

2017-08-14 13:06:00 402

转载 redis安装

$ rpm -Uvh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm$ rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm$ yum --enablerepo=remi,remi-test i...

2017-08-14 10:42:00 70

转载 x-pack-crack

破解x-pack-----------1. 编辑文件：LicenseVerifier.javapackage org.elasticsearch.license;import java.nio.*;import java.util.*;import java.security.*;import org.elasticsearch.common.xcontent.*;import org....

2017-08-08 17:00:00 89

转载 ELK获取用户真实IP

原理：在filebeat这台服务器上的nginx中获取到客户端真实IP($clientRealIp)，然后在访问日志中添加"$clientRealIp"字段。1. 通过map获取到用户真实IP，并调整日志格式，增加$clientRealIp段http { map $http_x_forwarded_for $clientRealIp { ""...

2017-08-06 10:48:00 254

转载多层代理获取用户真实IP

1. 几个概念remote_addr：如果中间没有代理，这个就是客户端的真实IP，如果有代理，这就是上层代理的IP.X-Forwarded-For：一个HTTP扩展头，格式为 X-Forwarded-For: client, proxy1, proxy2 X-Real-IP：自定义的HTTP头，用于把客户端真实IP一层层传递下去。2.几个变量$remote_addr：上层IP（客户端或代...

2017-08-06 10:09:00 303

转载 ELK帮助文档

elasticsearch：　　API中文指南：https://es.xiaoleilu.com/010_Intro/15_API.html　　官方文档：https://www.elastic.co/cn/learn　　ELKstack中文指南：https://kibana.logstash.es/content/logstash/plugins/output/stdout....

2017-08-06 09:22:00 291

转载 logstash filter plugin

1. 基本语法%{NUMBER:duration} %{IP:client} 2. 支持的数据类型默认会把所有的匹配都当作字符串，比如0.043，想要转成浮点数，可以%{NUMBER:num:float}匹配，目前只支持int和float两种。3. 举例说明有下面一段http日志：55.3.244.1 GET /index.html 15824 0.043匹配模式：%{IP:clie...

2017-08-06 08:48:00 114

转载开源实时日志分析ELK平台部署

ELK架构图：1. JDK环境-------------------1.1 下载最新JDK，解压到/usr/local/java目录。1.2 设置环境变量打开/etc/profile，添加下面内容export JAVA_HOME=/usr/local/javaexport JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$JAVA_HOME/bi...

2017-08-05 17:51:00 113

转载消息队列集群kafka安装配置

1. 下载wget http://mirror.rise.ph/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz2. 安装tar xf kafka_2.12-0.11.0.0.tgzmv kafka_2.12-0.11.0.0 /data/elk/kafka3. 配置文件 3.1 zookeeper集群：cat config/zookeep...

2017-08-05 17:32:00 92

转载日志采集客户端 filebeat 安装部署

linux----------------1. 下载wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-linux-x86_64.tar.g2. 安装tar xf filebeat-5.5.1-linux-x86_64.tar.gzmkdir /home/elkmv filebeat-5.5....

2017-08-05 10:53:00 189

转载 rsync + inotify 同步

1. 配置rysnc server：同步机，同步被同步机更新的文件，很多台vi /etc/rsyncd.conf uid=rootgid=rootuse chroot=nomax connections=10timeout=600strict modes=yesport=873pid file=/var/run/rsyncd.pidlock file=/var/run/rsyncd.lo...

2017-07-08 14:19:00 49

空空如也

空空如也