- 博客(50)
- 资源 (6)
- 收藏
- 关注
RSS订阅Kibana插件Timelion介绍 自定义分析图表
Kibana插件Timelion介绍 自定义分析图表 首先到Timelion定制页面：昨日与今日数据对比 定制完成后到kibana Visualize中找到刚才保存的面板 找到图表链接，内嵌到自定义页面中 最终页面效果就是这样的了。样式采用bootstrap默认。。 ...
2016-06-24 10:41:31
1819
原创 Kibana插件Timelion介绍
Kibana插件Timelion介绍 Timelion是一个kibana时间序列展示组件效果图如下：The time series composer for KibanaKibana4.5安装方式： ./bin/kibana plugin -i elastic/timelion Kibana5安装方式./bin/kibana-plugin install ...
2016-06-24 09:55:18
1125
ElasticSearch通讯异常
当前Master节点A，数据节点B。 A日志： [2016-06-23 17:52:35,975][WARN ][transport.netty ] [node-svr132] exception caught on transport layer [[id: 0xcb0c5acc, :38310 => /:9350]], closing...
2016-06-23 17:55:45
2171
原创 ElasticSearch2.3.2 轮流重启升级流程
ElasticSearch2.3.2 轮流重启升级流程 1.关闭分片迁移PUT /_cluster/settings {"transient":{"cluster.routing.allocation.enable":"none"}}2.可选操作 停止非必要的索引操作POST /_flush/synced 3.停止并升级单个节点如果使用zip安装，建议使用不同的c...
2016-06-23 14:27:35
199
TopBeat服务安装
TopBeat是一个简单的服务器数据采集脚本，已经获取服务器进程的CPU，内存，磁盘使用数据。并将数据输出到ElasticSearch，Redis等服务中，非常的简单易用。 1.下载TopBeat wget https://download.elastic.co/beats/topbeat/topbeat-1.0.0-beta3-x86_64.tar.gz2.解压并修改配置文件...
2015-09-23 18:34:52
538
解决Docker build时 Sending build context to Docker daemon 过大的问题
当使用Dockerfile Build镜像时，优势会发现发送到Daemo的内容过大build image:q_build/javaweb:20150910174642Sending build context to Docker daemon 4.768 GBSending build context to Docker daemon Step 0 : FROM 192.168....
2015-09-10 18:05:42
2619
Marathon 服务发现(Service Discovery)及负载(Load Balancing)方案
####4.3 Marathon 提供的Docker服务发现及负载方案* HAProxy配置文件目录 * Brige目录：SVR72 /usr/local/haProxy* 4.3.1 原理 marathon的restful api 有查看当前程序信息的接口: http://192.168.100.124:8080/v2/tasks 可以查询当前正在运行的app的host...
2015-09-10 17:35:40
314
Docker本地私有仓库搭建
Docker本地私有仓库搭建：准备两台服务器192.168.10.123,192.168.10.124 1.以容器的方式运行registry服务，在123服务器执行docker run -idt -p 5000:5000 --name registry -v /data/registry:/data/docker/registry registry 启动成功后，使用doc...
2015-09-07 12:34:16
120
Docker服务无法启动解决办法
Docker -d -D服务无法启动 问题详情显示如下：INFO[0000] Listening for HTTP on unix (/var/run/docker.sock)ERRO[0000] [graphdriver] prior storage driver "devicemapper" failed: Error running DeviceCreate (CreateP...
2015-09-07 11:27:46
7938
ElasticSearch强制重置未分配的分片
强制重置脚本，请留意，可能会造成数据丢失。 NODE="YOUR NODE NAME"IFS=$'\n'for line in $(curl -s 'localhost:9200/_cat/shards' | fgrep UNASSIGNED); do INDEX=$(echo $line | (awk '{print $1}')) SHARD=$(echo $lin...
2015-09-02 12:37:45
1397
Flume入门教程-简单案例
Flume入门教程-简单案例 1.下载安装 官方网站：http://flume.apache.org/http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gztar -zxvf apache-flume-1.6.0-bin.tar.gz 2.修改配置重命名flume...
2015-06-09 15:58:27
359
4.Logstash 入门教程-数据处理流程
4.Logstash 入门教程-数据处理流程LS的处理流程分三个阶段：inputs->Filters-> Outputs.input：产生事件，filter：修改事件，output：输出事件。在Input，Output阶段支持codecs解编码器，这样就不用在数据输入和输出的位置配置独立的Filter了。 Input输入配置：常用的有Filesyslo...
2015-06-03 22:02:32
200
3.Logstash 入门教程 -配置案例
3.Logstash 入门教程 -配置案例介绍一个详细案例，讲述如何配置读取Apache日志，Syslog并根据自定义条件进行过滤和输出。 手工输入并解析数据LS中可以通过Filter针对数据进行切片切块等操作，解析，装换，组装等等。。input { stdin { } } #控制台输入filter { grok { #通过GROK来自动解析APACHE日志格式...
2015-05-30 11:46:30
312
2.Logstash入门教程 - 启动命令行参数及插件安装
2.Logstash入门教程 - 启动命令行参数 Logstash的启动脚本中有比较多的命令行参数：-f ：用于指定配置文件使用文件，目录，或者通配符加载配置信息，如果指定为目录或者通配符，按字母顺序加载。-e: 用于指定字符串输入 默认输入为，stdin { type => stdin }默认输出为：stdout { codec => rub...
2015-05-29 22:58:56
735
1.LogStash入门教程
首先Logstash需要依赖JDK 1.7+版本，请确认服务器是否安装了正确的JDK并配置了ClassPath。Logstash提供了一个启动脚本，通过该脚本启动服务。可以在该文件中配置JAVA_OPTS和LS_JAVA_OPTS配置JVM，JMS（如果想通过JMS监控的话）相关的参数。 下载并启动服务 curl -O https://download.elasticse...
2015-05-29 22:36:51
235
10.ElasticSearch预警服务-Watcher详解-管理Watcher服务
ElasticSearch预警服务-Watcher详解-管理Watcher服务1.监听Watcher相关的数据存储在.watches索引中，该索引具有只读权限，必须通过API来创建，更新和删除。GET .watches/_search{ "fields" : [], "query" : {"match_all" : { } }} 2.通过Ki...
2015-05-28 10:52:38
738
9.ElasticSearch预警服务-Watcher详解-监控时间线数据
来看个小例子：固定周期采集数据，并设置数据预警机制采集数据配置，拉取RSS数据并存储到ElasticSearch中.1.下载并安装最新的logstash1.5版本地址：https://www.elastic.co/products/logstash 2.安装rss插件cd logstash-1.5.0bin/plugin install logstash-input-rss...
2015-05-27 10:17:14
1044
8.ElasticSearch预警服务-Watcher详解-监控Marvel数据
8.ElasticSearch预警服务-Watcher详解-监控Marvel数据如果ElasticSearch集群部署了Marvel相关的服务，那么就可以安装Watcher来监控异常情况的产生并发送预警。例如可以在以下情况下配置Watch Action动作.1.集群监控状态监控2.高内存使用率3.高CPU使用率4.高文件目录空间5.高FieldData 缓存使用6.节点加入或者脱离集群使用Wat...
2015-05-26 17:17:04
671
7.ElasticSearch预警服务-Watcher详解-Action设置
ElasticSearch预警服务-Watcher详解-Action设置Watcher中的Action指配置指定的预警动作，在满足触发条件且不节流的情况下执行。每个Action动作执行一次,Action之间相互独立。执行过程中，发生任何错误都会记录结果，可以在历史记录中查看。Action可以访问Context中的内容。Watcher支持的Action类型有四种：EMail(邮件),Webhook...
2015-05-26 09:27:24
1914
1
6.ElasticSearch预警服务-Watcher详解-Transform设置
ElasticSearch预警服务-Watcher详解-Transform设置Transform(数据转换)，在Watcher服务的Action执行前执行。可以执行Transform的位置有两次，分别是：1.全局定义(Watch Level)，将对所有的Watch动作生效2.局部定义(Action Level)，只对指定的Watch动作生效设置案例：{ "trigger" : { .....
2015-05-25 10:55:42
953
5.ElasticSearch预警服务-Watcher详解-Condition设置
ElasticSearch预警服务-Watcher详解-Condition设置Condition用于在Watcher触发后决定是否去执行Action动作.目前支持的类型有4种，分别是always,never,script,compare.如果没有进行设置，则默认为always类型。当Condition执行时，可以访问Context中的数据，即Script和Compare可以使用其中的数据来决...
2015-05-25 10:17:40
731
4.ElasticSearch预警服务-Watcher详解-Input配置
Watcher的Input设置用于加载数据到执行Context中，目前支持三种模式设置，分别为simple,search,http。1.Simple简单输入 可以设定一些静态数据，供Watcher后续阶段进行计算，存储等。 这里可以定义静态数据作为一个字符串（STR），数值（NUM），或一个对象（Object） { "input" : { "simple"...
2015-05-22 13:11:24
516
3.ElasticSearch预警服务-Watcher详解-Schedule配置
Watcher服务详解-定时器的设定 关于Schedule配置选择，Watcher提供了丰富的时间语法支持，采用UTC时间，来我们一起看下如何设置: 支持的设置方式： hourly:按小时周期设置 daily:按天周期设置 weekly:按周周期设置 monthly:按月周期设置 yearly:按年周期设置 cron...
2015-05-22 09:37:58
435
2.ElasticSearch预警服务-Watcher详解
Watcher的核心组成部分：1.Trigger:决定何时触发,必须对每个Watcher指定2.Input:将数据加载到Context中3.Condition:根据条件决定师傅执行Action操作,如不设置，默认总是执行4.Transform：可选传输设置：处理及数据Load过程设置5.Actions：动作：零个或者多个执行动作设定完整的案例：PUT _watcher/watch/log_...
2015-05-21 17:01:39
464
ElasticSearch预警服务-Watcher安装指南及案例介绍
本文将介绍如何安装Watcher服务，并介绍相关的功能特征。1.Watcher服务的安装 目前Watcher服务处于Beta阶段，使用者可以申请最新的beta-key，然后通过插件的方式进行安装bin/plugin -i elasticsearch/watcher/<watcher-beta-key> 2.验证服务 curl -XGET 'ht...
2015-05-21 10:18:26
454
Kibana 3 修改本地时区的问题
虽然目前Kibana最新的版本为Kibana4，当时仍然有不少同学使用Kibana3，那么问题来了！Kibana有一个头疼的问题就是页面日期字段现实为标准零时区，来看下，群里好多新手经常问这个问题！ 解决办法其实也是很简单的了，一起来看... 1.点击Table右上角的设置图标2.选择面板选项Panel3.勾选下方的LocalTime属性，并设置需要进行时区转换的属性...
2015-05-20 17:14:31
619
Logstash1.5.0 功能简介及安装
Logstash一个完全开源的工具，可以进行数据收集、分析，并将其存储供以后使用。是ELK技术体系中的非常重要的一部分。让我们先来看看简单的功能介绍 0.处理任何数据，从任何来源这是一直是Logstash的目标.1.集中的所有类型的数据处理Logstash是一个数据管道，可以让你从不同的系统来源收集日志或者其他的的事件数据,提供了多达165种不同的插件，并可以将数据输送到统一...
2015-05-20 16:54:01
231
ElasticSearch警报和通知产品 Watcher功能介绍
ElasticSearch警报和通知产品 Watcher(守望者)即将发布：(官方地址：https://www.elastic.co/products/watcher) Watcher：Watcher是即将发布的警报和通知产品，基于Elasticsearch的数据预警衍生产品。简单地定义一个条件，一个时间计划，触发指定条件后Watcher会执行相关的警报和通知。 几大功能...
2015-05-20 13:37:18
765
原创 KafKa简单集群环境搭建
KafKa集群配置： 1.下载解压最新的kafka安装文件 ，并分别解压到三台服务器上 tar -xzf kafka_2.10-0.8.2.0.tgzcd kafka_2.10-0.8.2.0 2.修改Server.properties配置文件： zookeeper.connect=archtest0...
2015-05-20 12:33:32
133
ElasticDump的安装使用
ElasticDump是一个ElasticSearch的数据导入导出开源工具包，方便使用。官方地址：官方地址：https://github.com/taskrabbit/elasticsearch-dump 安装方式如下：安装NodeJS下载源码:wget http://nodejs.org/dist/v0.10.32/node-v0.10.32-linux-x64.ta...
2015-05-19 18:06:07
4477
1
Nginx 输出Json格式日志
在项目中，为了提高数据处理速度，需要Nginx输入Json格式的日志，处理方式如下： 修改NGINX_HOME/conf/nginx.conf文件，开启log_format格式，并配置格式定义如下： log_format logstash_json '{ "@timestamp": "$time_iso8601", ''"remote_addr": "$remote_addr...
2015-05-19 17:58:27
617
CentOS系统内核优化
内核参数的修改：vi /etc/sysctl.conf 使配置立即生效可使用如下命令：/sbin/sysctl -p内核参数优化配置fs.file-max = 789972net.ipv4.ip_forward = 0net.ipv4.conf.default.rp_filter = 1net.ipv4.conf.default.accept_source_route =...
2015-05-19 17:45:53
183
Centos RedHat 网络带宽监控
1.sar软件SAR这个工具RHEL iso里包含，它是一个优秀的性能监控工具，不仅仅监控网络，它可以显示cpu，运行队列，磁盘i/o，分页(交换区)，内存，CPU中断等性能数据。Sar命令在sysstat包中，我公司系统没有安装此包，所以要安装它，才有sar命令。 在164服务器执行命令：1.1 sar安装Yum install sysstat1.2 sar使用sar ...
2015-05-19 17:44:16
493
原创 Redis监控服务 Redis-stat安装说明
Ruby And Redis Stats Install! Redis-stat : 一个用ruby写成的监控redis的程序，基于info命令获取信息，而不是通过monitor获取信息，性能应该比monitor要好。 官网：https://github.com/junegunn/redis-statStep 1: Install Required Packages...
2015-05-19 17:36:11
296
Spring MVC Ajax Post请求中文乱码的解决办法
SpingMVC项目中，在JS里面通过ajax发送请求，并返回相应的json格式数据，出现了中文乱码。1.首先通过Debug方式验证从数据库中获取的结果编码是否正确2.展示在页面上就是错误的？？， 研究了一下，最简单的解决办法是在返回Json时配置下正确的编码 @RequestMapping(value = "queue/list.html", method = Re...
2015-04-15 17:21:41
324
Nginx错误汇总
服务器常见Nginx错误汇总1.nginx:no live upstreams while connecting to upstreamno live upstreams while connecting to upstream[error] 27212#0: *314 no live upstreams while connecting to upstream, clien...
2015-04-13 22:42:40
514
原创 Redis3.0-集群环境搭建
Redis3.0已经发布一段时间了，趁着周末抓紧研究下，重点关注下相关的新功能及稳定性。性能及压力测试情况后续慢慢更新。目前公司使用的是2.8.7版本，非常的稳定。 Redis Cluster： 支持多节点数据集自动分片提供一定程度的分区可用性，部分节点挂掉或者无法连接其他节点后，服务可以正常运行集群中的每个Redis节点需要2个TCP连接端口，如6379端口用于C...
2015-04-10 23:39:39
103
原创 巧用liunx Find 删除大量文件
公司有个旧的系统，相关的数据处理是通过文件的形式来处理的由于系统做的很烂，经常会造成一段时间后大量的数据文件堆积然后发现竟然有一个专门的程序去清理这些文件。本人又很懒，不想写，使用liunx 命令行搞定，方便 简洁 。。 哈哈find /home/goojia/sitedata/adaptor/rent/ -name 'com.XXX.*' -mtime -10|xargs r...
2011-02-28 14:21:25
99
原创 使用Maven执行Java代码
不多说了，直接上代码Linux环境下,公司名用XXX表示，呵呵[code="java"]export MAVEN_HOME=/opt/apache-maven-2.2.1 MAVEN_OPTS="-Xmx512M -XX:MaxPermSize=128M"cd /root/datacenter.scriptfor i in `ps -efwww|grep com.X...
2011-02-28 10:51:42
2177
原创 jquery控制提交按钮禁用，可用
哈哈！1.按钮禁用： $("#btn").attr({"disabled":"disabled"});2.按钮可用$("#btn").removeAttr("disabled");===============================================》更简单的写法$("#btn").attr("disabled",
2011-01-28 14:49:18
743
mysql-connector-java-5.1.10.zip +mysql +java 5.1数据库连接包 加源文件
2009-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人