2015年12月_ronon77

原创解决airpal的数据预览问题

airpal可以形成一个系列了。airpal默认是可以预览数据的。但加上用户对应的权限表之后，数据预览就不见了。解决这个问题的环境： intellij 15 chrmoe 远程debug 解决思路： 1.刚开始怀疑是前端的问题，通过chrome的inspect...

2015-12-31 17:27:49 245

解决airpal保存历史记录滚动条问题

这是一个前端ui问题，用到一堆新玩意：reactjs，airpal.js等。又是从0.1版开始找思路解决这个问题。使用工具是chrmoe的inspect 调试思路： a. element.style b.引入airpal.css里class 开始调试： ...

2015-12-30 09:52:45 120

Nginx+Jwplayer播放流媒体视频JWPlayer is one of the most popular video players on the Internet. It is used by most modern “tube” websites for video hosting, publishing and advertising. It can be used as st...

2015-12-30 09:36:54 403

原创 ELK logstash 结构

在命令行中指定-e参数，从标准输入到标准输出，并格式化结果。 12345678910# /opt/logstash/bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'www.ttlsa.comSettings: Defau...

2015-12-30 09:33:25 109

原创 kafka 监控系列kafka manager

Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。　　为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新...

2015-12-28 20:51:10 151

原创 Apache Kafka监控之KafkaOffsetMonitor

当你将Kafka集群部署之后，你可能需要知道当前消息队列的增长以及消费情况，这时候你就得需要监控它。今天我这里推荐两款Kafka开源的监控系统：KafkaOffsetMonitor和Kafka Web Console。　　KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。　　你可以浏览当前的消息消费者组，每...

2015-12-28 20:48:36 94

原创 centos 查看网卡流量

Linux中查看网卡流量工具有iptraf、iftop以及nethogs等，iftop可以用来监控网卡的实时流量(可以指定网段)、反向解析IP、显示端口信息等。安装iftop的命令如下：CentOS系统为“yum install iftop -y”Debian/Ubuntu系统为“apt-get install iftop” 常用参数说明：-i设...

2015-12-28 14:53:39 7438

原创 load balancing across multiple elasticsearch-kibana负载

To use a local client node to load balance Kibana requests:Install Elasticsearch on the same machine as Kibana.Configure the node as a client node. In elasticsearch.yml, set both node.data and...

2015-12-28 14:29:55 113

原创 zk 3.4.6 安装及配置说明

Zookeeper安装1. 安装wget http://www.apache.org/dist//zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gztar zxvf zookeeper-3.3.6.tar.gzmv zookeeper-3.3.6 /usr/local/zookeeper-3.3.6-2181cd /us...

2015-12-27 22:17:33 192

原创 myid文件缺失导致zk无法启动（myid file is missing）

myid文件缺失现象：zookeeper无法启动；异常：$dataDir/myid file is missing；原因：zk集群中的节点需要获取myid文件内容来标识该节点，缺失则无法启动；解决：在zk数据文件存放目录下（见 $ZK/conf/zoo.cfg，dataDir属性），创建myid文件并写入一个数字用来标识本节点（类似这个节点的身份证）。#示例节点 da...

2015-12-27 21:22:22 1245

原创 ELK logstash升级到2.0以及logstash-forwarder迁移到Filebeat

将从logstash1.5版本升级到2.1版本，以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。升级步骤停止logstash以及发送到logstash的所有管道。更新apt或yum源或者下载新版包。安装新版的logstash。测试logstash配置文件是否正确。启动logstash以及第一步停止的管道。升级logst...

2015-12-27 10:01:52 236

原创 ELK_latest 2.1新版参数变化

elk之前用的版本是ela 1.7 logstash 1.5 kibana 4.2 这次升级到最新2.x了，以前写的的参数，filter等，有些参数已被移除或更解了。后续不停说明......... ogstash是ELK重要组成部分，日志进一步的处理差不多都需要经过logstash来完成的，除非自己开发beats将数据处理好直接写入到elast...

2015-12-26 12:16:44 87

采用airbnb的airpal和facebook的presto搭建数据平台所遇到的时区，权限问题

airpal_vesion 0.1presto_version 0.7 上面为什么要说明这两个软件的版本，是因为版本太新，国内用的人不多，这方面学习成本高。标题取名为是所遇到的问题，而不是坑，是因为有些问题在原开发者看来不是bug，大神乐意开源了，才有机会练手。感谢开源。我这里目前主要解决了两个问题，一是时区问题；二是用户按表分权限操作问题。...

2015-12-26 11:40:48 297

日志系统与监控系统分阶段计划与演示

kibana4.3多了一个status 收集到日志展示：ELKKRN指的是E:elasticsearch－－－集群存储L:logstash－－－采集，过滤K:kibana－－－展示K:kaka－－－消息队列R:redis－－－消息队列N:nginx－－－集群负载step1集群满足需求step2各节点参数优化，提升使用感step3各...

2015-12-25 10:40:38 142

原创用十条命令在一分钟内检查Linux服务器性能

如果你的Linux服务器突然负载暴增，告警短信快发爆你的手机，如何在最短时间内找出Linux性能问题所在？来看Netflix性能工程团队的这篇博文，看它们通过十条命令在一分钟内对机器性能问题进行诊断。概述通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。uptimedmesg | tailvmstat 1mpstat -P ALL 1pidsta...

2015-12-24 20:28:02 101

原创 Nginx 拒绝指定IP访问(shell)

发现有个IP不断的猜测路径、试图往服务器上传文件（木马）。于是查看了之前的日志，无奈鄙站被攻击者盯上了，不断的有不同的IP试图上传木马。看来坏人还是有的。由于不想让鄙站沦为肉鸡，所以就想写个简单的脚本，来阻止攻击者的IP访问。攻击者： 12345678195.154.216.165--[28/Nov/2015:23:...

2015-12-24 19:48:56 259

原创 ELK kibana查询与过滤

在kibana中，可通过搜索查询过滤事务或者在visualization界面点击元素过滤。创建查询在Discover界面的搜索栏输入要查询的字段。查询语法是基于Lucene的查询语法。允许布尔运算符、通配符和字段筛选。注意关键字要大写。如查询类型是http，且状态码是302。type: http AND http.code: 302。字符串查询查询可以包含一个或多个字或者短语...

2015-12-24 19:39:03 1089

原创 redis 3.0.6 安装

Redis is an open source project providing key/value store features in a database server. This means that basically you can store in the database a value that has a given key and then retrieve the...

2015-12-22 14:30:21 159

原创 elasticsearch 1.7集群配置

一、简介 ElasticSearch和Solr都是基于Lucene的搜索引擎，不过ElasticSearch天生支持分布式，而Solr是4.0版本后的SolrCloud才是分布式版本，Solr的分布式支持需要ZooKeeper的支持。这里有一个详细的ElasticSearch和Solr的对比：http://solr-vs-elasticsearch.com/ 二、基本用...

2015-12-22 10:45:35 155

mac 重装mysql

mac上的mysql突然启动不了，之前安装时又不见mysql的初始化的密码，折腾了好久，还没解决这两个问题，最后来一招简单粗暴的。重装mysql: 1. sudo rm /usr/local/mysql （这一步：必须的）2. sudo rm -rf /usr/local/mysql* （这一步：必须的）3 sudo rm -rf /Lib...

2015-12-20 11:34:56 191

原创 intellij 直接debug线上的java应用

1.加入　java -Xdebug -Xrunjdwp:transport=dt_socket,address=9527,server=y,suspend=y -jar lib/HelloAntWorld.jar　　关于这个exec.sh文件，≈Windows上的batch文件。第一个应该是注释，第二行的echo即回显命令，可以打印一行话。第三行是重点，我们知道如果仅仅是执行这个Hell...

2015-12-18 14:12:37 173

原创 if else以及大于、小于、等于逻辑表达式

大多数情况下，可以使用测试命令来对条件进行测试。比如可以比较字符串、判断文件是否存在及是否可读等,通常用"[]"来表示条件测试。注意这里的空格很重要。要确保方括号的空格。 if ....; then 　 .... elif ....; then 　 .... else 　 .... fi[ -f "somefile" ] ：判断是否是一个文件 [ -x "/bin/ls" ] ：判断/bin...

2015-12-16 16:51:48 1208

原创 centos 安装sendmail mailx

安装sendmail：[root@li676-235 ~]# yum install sendmail安装好后执行。[root@li676-235 ~]# /etc/init.d/sendmail startStarting sendmail: [ OK ]Starting sm-client...

2015-12-16 15:27:35 501

原创 Graphite的百万Metrics实践之路

Graphite作为Metrics界的大哥它是RRDTool的Network Service版，和RRD一样支持Metrics的精度递减，比如一天之内10秒一条，7天之内聚合到1分钟一条，一年之内聚合到1小时一条。它支持丰富的查询函数，从简单的min/max/avg/sum 到 rate、top N等等，以Restful API提供。它有整个生态圈的插件支持，而且简单的TCP Pl...

2015-12-14 18:14:01 694

原创 Node.js/CentOS: 运行并测试StatsD和Graphite来收集数据

1. 安装GraphiteStatsD通过npm安装并通过node运行，简单的不需要多说了。而Graphite的安装上则费一些时间，我参考的是这个链接，虽然原文是讲在Mac OX 10.9下安装Graphite，但是在CentOS下一样可行，注意把Mac下的blew改成CentOS下的yum，还有chown那句改成自己的用户名和Group就可以了（而不是Mac中的staff组）。安装Gr...

2015-12-14 17:28:15 300

原创设置python运行的python版本

[size=x-large][color=darkred] pycharm默认运行的python版本是2.6,使用pip按装的很多库，运行的时候是读不到，这时需要设置一下pycharm运行的python版本，设置如下[/color][/size][img]http://dl2.iteye.com/upload/attachment/0113/7293/c93cfc43-08...

2015-12-14 09:54:49 294

原创网管必备的十大网络安全测试工具

1. 可引导的Linux版本：Backtrack 是最流动的可引导Linux版本之一，它有最新的安全工具和应用程序。Backtrack允许您加载一个纯原生的黑客环境，然后可以用它执行渗透测试。所谓Live CD/DVD或可引导发行版，是指一个完整配置的操作系统，它允许用户不需要将它安装到硬件，而体验和评估一个操作系统。您可以从Live DVD、U盘或虚拟机运行这个操作系统。　　2. 恶意软件...

2015-12-14 09:54:22 344

原创 mac 开发环境常用技巧

话说Mac一般来讲不需要什么重装啊，不过世事无绝对啊，有时候人就是喜欢作死！！！比如前几天的我~~~算了，具体情况就不说了，反正就是作死，Mac系统出了问题。本来想着用Time Machine恢复一下就得了，也省事。不过仔细想了一想，很想自己安装一遍（博主的折腾精神有时候很是让自己“佩服”），然后就开始了Mac系统重装之旅！一、制作USB安装盘要安装首先就得制作一个启动U盘，当然你也...

2015-12-13 11:29:04 151

原创 ELK elasticsearch 插件管理

插件能额外扩展elasticsearch功能，提供各类功能等等。有三种类型的插件：java插件只包含JAR文件，必须在集群中每个节点上安装而且需要重启才能使插件生效。网站插件这类插件包含静态web内容，如js、css、html等等，可以直接从elasticsearch服务，如head插件。只需在一个节点上安装，不需要重启服务。可以通过下面的URL访问，如：http://node-ip...

2015-12-13 11:00:41 201

原创 pycharm 快捷键

提示CTRL Q: 在参数列表位置，显示可以输入的所有参数。CTRL Q: 查看选中方法的文档字符串阅读CTRL -: 折叠当前代码CTRL +: 展开当前代码CTRL SHIFT -: 折叠所有代码CTRL SHIFT +: 展开所有代码CTRL SHIFT F7: 将当前单词在整个文件中高亮，F3移动到下一个，ESC取消高亮。CTRL F11 | F11: 设置书签.SHIFT F11...

2015-12-13 11:00:27 58

原创 mac下Python升级到指定的版本

以2.7升级到3.3为例1.删除原版本a)删除系统库中的版本sudo rm -R /System/Library/Frameworks/Python.framework/Versions/2.7 b)删除Current版本sudo rm /System/Library/Frameworks/Python.framework/Versions/Currentc)删除/usr/bin目录下的pytho...

2015-12-13 11:00:00 481

原创 mac 搭建python开发环境

导读： 1.先安装brew ruby -e &quot;$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)&quot; 2.用brew 安装wget brew install wget 3.用wge...

2015-12-13 10:50:04 83

原创 mac 获取 Homebrew

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"打开终端窗口, 粘贴以上脚本。脚本会解释它的作用，然后在您的确认下执行安装。高级安装选项请看这里（需要10.5）。What Does Homebrew Do?...

2015-12-12 11:04:24 106

nginx 自动切日志的三种方式

第一种logrotate方式第二种shell脚本方式# vim nginx-log-rotate 1234567891011121314/data/weblogs/*.log{ nocompress daily copytruncate...

2015-12-11 14:47:52 225

原创 nginx从安装到配置启动

NGINX安装配置1.检查并且安装依赖组件检查安装nginx的依赖性，nginx的模块需要第三方库的支持，检查是否安装下列库：zlib、zlib-devel、openssl、openssl-devel、prce、prce-devel如果没有，则全部装上# yum install zlib zlib-devel openssl openssl-devel prce prce-devel2.安装pc...

2015-12-11 14:41:29 120

原创 IntelliJ IDEA 15在线激活码

注册通过 15.02版本已出　　最近发布的IntelliJ IDEA 15带来了很多的新特性，想必大家都非常想使用这个版本。但是遗憾的是，该版本的注册方式和之前版本不一样，只能通过联网激活。本文将提供的方法可以完美地破解idea 15的联网注册问题。　　本博客提供了两种用于激活IntelliJ IDEA 15的方法：一种需要下载相关的程序对Ideal加入...

2015-12-11 11:28:54 249

原创 ELK beats

ps:越来越强大了 beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如c...

2015-12-11 11:17:58 172

原创 ELK sense 编辑器(10th)

sense 是一个elasticsearch REST API交互式的控制台。Marvel 1.X 版本有带这个工具。Marvel2.X版本，sense从Marvel分离出来了，集成到kibana平台上了，作为kibana的一个插件。安装sense首先要安装kibana4.2或更高版本，参见上一篇。然后执行下面命令： 12# ./bi...

2015-12-11 11:13:19 158

原创取消挂载 umount 时出现的 “Device is busy”

fuser 可以显示出当前哪个程序在使用磁盘上的某个文件、挂载点、甚至网络端口，并给出程序进程的详细信息。假设无法卸载的设备为 /media/USB，运行下列命令即可：$ fuser -m -v /media/USB/ 用户进程号权限命令/media/BAK/: galeki ...

2015-12-10 18:19:28 176

influxDB+graphite+grafana+stats+collect+elasticserach+zabbix

基于influxDB+graphite+grafana+statsd+collect+elasticserach+zabbix打造一个全方位监控系统。这个是基于kamon+statsd+graphite+grafana的jvm，api，socket等信息截图－－－－－－－－－－－－－－－－－－－－－－－－－－ In this article I’m going to ...

2015-12-10 18:08:58 1649

空空如也

空空如也