2015年12月_「已注销」

转载 ElasticSearch集群出现脑裂

Elasticsearch部分节点不能发现集群(脑裂)问题处理现象描述es版本 1.4.5+centos 6.5es1,es2,es3三台es组成一个集群，集群状态正常，当es1 服务器重启后，es1不能加到集群中，自己选举自己为master,这就产生了es集群中所谓的“脑裂”, 把es1的es服务重启后，es1则能正常发现集群并加入。当重启es2服务器后，es

2015-12-30 17:09:55 4699

转载 nginx与Elasticsearch结合使用

Elasticsearch是一种先进的，高性能的，可扩展的开源搜索引擎，提供全文搜索和实时分析的结构化和非结构化的数据。它的特定是可以通过HTTP使用 RESTful API，很容易的融入现有的web架构。因此在高并发的情况下，采用nginx反向代理负载均衡到多台Elasticsearch 服务器上。架构图：这种架构的优点是：记录每个API请求的日志

2015-12-29 17:15:45 3361

转载使用Shield保护ElasticSearch平台--兼权限控制

使用Shield保护ELK平台——兼权限控制ELK系统默认并不含有用户认证功能，基本上任何人都可以随意读写ElasticSearch的API并获取数据，这时该如何对ELK系统做好防护工作呢？目标在读完这篇教程后，您可以学会：阻拦未授权的用户对ELK平台的访问允许不同用户访问不同的index方法这里我们使用Elastic公司的Shield来完成这个工作Sh

2015-12-29 17:01:44 10019 1

转载 elasticsearch 查询（match和term）

elasticsearch 查询（match和term）es中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询（DSL）。由于DSL查询更为直观也更为简易，所以大都使用这种方式。DSL查询是POST过去一个json，由于post的请求是json格式的，所以存在很多灵活性，也有很多形式。这里有一个地方注意的是官方文档里面给的例子的jso

2015-12-29 16:37:02 927

转载内存那些事

内存那些事linux中的free -m可以查看当前的内存使用情况[yejianfeng@iZ23fsd ~]$ free -m total used free shared buffers cachedMem: 7869 7737 132 0

2015-12-29 16:33:54 360

转载 elasticsearch 文档

elasticsearch 文档文档格式索引中最基本的单元叫做文档 document. 在es中文档的示例如下：{ "_index": "questions", "_type": "baichebao", "_id": "4", "_score": 1, "_version" : 1, "_source": {

2015-12-29 16:33:10 476

转载 lucene/es 的评分机制

lucene 的评分机制elasticsearch是基于lucene的，所以他的评分机制也是基于lucene的。评分就是我们搜索的短语和索引中每篇文档的相关度打分。如果没有干预评分算法的时候，每次查询，lucene会基于一个评分算法来计算所有文档和搜索语句的相关评分。使用lucene的评分机制基本能够把最符合用户需要的搜索放在最前面。当然有的时候，我们可能想要自定义评分算法，这

2015-12-29 16:31:44 2765

转载 elasticsearch 集群

搭建elasticsearch的集群现在假设我们有3台es机器，想要把他们搭建成为一个集群基本配置每个节点都要进行这样的配置：cluster.name: baichebao-cluster这个是配置集群的名字，为了能进行自动查找node.name: "baichebao-node-1"这个是配置当前节点的名字，当然每个节点的名字都应该是唯一的no

2015-12-29 16:29:34 440

转载 elasticsearch如何安全重启节点

elasticsearch集群，有时候可能需要修改配置，增加硬盘，扩展内存等操作，需要对节点进行维护升级。但是业务不能停，如果直接kill掉节点，可能导致数据丢失。而且集群会认为该节点挂掉了，就开始转移数据，当重启之后，它又会恢复数据，如果你当前的数据量已经很大了，这是很耗费机器和网络资源的。本文转载官方提供的安全重启集群节点的方法：第一步：先暂停集群的shard自动均衡。curl

2015-12-29 16:14:40 1117

转载 Elasticsearch的备份和恢复

距离上次讲Elasticsearch的安装已经快一个半月了，作为一个半路出家的前端开发，简单的使用中也体验到了Elasticsearch的强大。目前在一个自己开发的小站点中，使用Elasticsearch索引了近200W简单数据，占用资源极小，搜索速度极快。下一步打算优化一下分词（目前使用的是标准分词器），所以想先备份一下，于是有了今天的文章。备份Elasticse

2015-12-29 16:01:23 541

转载 JMeterPluginCMD命令行工具生成png图片和csv统计文件

Jmeter是个纯java的开源的轻量级性能测试工具，功能强大。因为是轻量级的，与loadrunner相比，报告统计的相对较少。不过有jmeter的插件-JMeterPlugins，可以提供不少其他的报告,包括各种响应时间、吞吐率、线程等的变化曲线等http://www.yeetrack.com/?p=858并且这个插件提供了命令行工具，可以将我们看到的各种曲线，各种报告统计成png图片，或者

2015-12-29 14:48:35 2943

转载 an assertion failure occured (this may indicate a bug in Hibernate, but is more likely due to unsafe

这是在一次事务提交时遇到的异常。 an assertion failure occured (this may indicate a bug in Hibernate, but is more likely due to unsafe use of the session)net.sf.hibernate.AssertionFailure: possible nonthrea

2015-12-25 14:55:28 1648

转载命令行模式运行jmeter,主从方式运行jmeter

jmeter很小，很快，使用方便，可以在界面运行，可以命令行运行。简单介绍下命令行运行的方式： sh jmeter.sh -n -t my-script.jmx -R 10.6.5.31,10.6.5.35,10.6.5.36,10.6.5.37,10.6.5.72 -l 8.jtl上面一条命令应该可以满足大部分需求。 -n：使用命令行模式运行 -t：指定要

2015-12-22 12:55:36 12373

转载 mysql 定期分析,优化相关

MYSQL强制使用索引和禁止使用索引强制使用某个索引:语法格式:SELECT * FROM TABLE1 FORCE INDEX (FIELD1)...以上的SQL语句只使用建立在FIELD1上的索引，而不使用其它字段上的索引强制忽略索引:SELECT * FROM TABLE1 IGNORE INDEX (FIELD1, FIELD2)在上

2015-12-22 11:37:29 642

转载 ubuntu下安装sonarqube(团队代码评审工具)

1.先装好java,mysql,设置JAVA_HOME,JRE_HOME2.在mysql中创建数据库和用户CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci;CREATE USER 'sonar' IDENTIFIED BY 'sonar';GRANT ALL ON sonar.* TO 'sonar'@'%

2015-12-20 17:03:20 2122

转载使用Jenkins配置自动化构建

持续集成是个简单重复劳动，人来操作费时费力，使用自动化构建工具完成是最好不过的了。为了实现这个要求，我选择了Jenkins。从http://mirrors.jenkins-ci.org/windows/latest下载windows下的最新安装版jenkins。（如果不能安装，从http://mirrors.jenkins-ci.org/war/latest/jenkins.war

2015-12-20 10:52:41 469

转载 SonarQube代码质量管理平台安装与使用

Sonar简介Sonar是一个用于代码质量管理的开源平台，用于管理源代码的质量，可以从七个维度检测代码质量通过插件形式，可以支持包括java,C#,C/C++,PL/SQL,Cobol,JavaScrip,Groovy等等二十几种编程语言的代码质量管理与检测sonarQube能带来什么？Developers' Seven Deadly Sins1.糟糕的复杂度分

2015-12-20 10:41:55 419

转载 Ubuntu 14.04下安装GitLab指南

摘要 GitLab 是一个用于仓库管理系统的开源项目。使用Git作为代码管理工具，并在此基础上搭建起来的web服务。在GitLab的官方网站上面对Ubuntu的支持也是很好的，有比较详尽的安装指南。在介绍postfix的地方有少部分的坑，本文抛砖引玉，解决一些我遇到的坑。本文主要针对Ubuntu 14.04，介绍如何安装Gitlab。其他的Ubuntu可以作为一个参考。Ubuntu

2015-12-20 10:39:09 651

转载 maven常用命令

Maven常用命令： 1. 创建Maven的普通java项目： mvn archetype:create -DgroupId=packageName -DartifactId=projectName 2. 创建Maven的Web项目： mvn archetype:create -DgroupId=packageName

2015-12-20 09:53:53 355

转载 maven 自动部署到 tomcat7

tomcat7 需要使用 tomcat-maven-plugin 的新版本，版本支持tomcat6和tomcat7，groupId也由org.codehaus.mojo改为org.apache.tomcat.maven。可以参考看看：http://tomcat.apache.org/maven-plugin.html主菜来了。1.修改项目的pom.xml

2015-12-20 09:50:31 1097

转载性能测试应该怎样测？

事情的起因是这样的：　　上周三下午要出去打个电话，经过小会议室门口的时候测试负责人叫住我问有事吗？小A做的性能测试出现了点问，要我帮忙分析一下。打完电话后到小会议室与小A、测试负责人一起看小A的性能测试出现了什么问题。小A说她对X项目进行了性能测试，但是结果与现在线上的差距特别大，线上入库是10条/秒，而她测试的结果是3-4条/秒，对于她测试得出来的结果项目的负责人很不认同，认为是

2015-12-19 16:17:10 410

转载性能测试知多少----性能测试分类之我见

从这一篇开始，虫师向性能方面发力。翻看自己的博客，最早的时候热衷于jmeter，于是写了几篇图文并茂的文章（其实，主要是操作截图加文字描述），之后，由于看到好多朋友关于性能的知识什么都不知道，下载个loadrunner 就说要做性能测试，结果可想而知，遇到各种概念与使用问题。于是写了《在做性能测试之前需要知道什么》《在做性能测试之后需要知道些什么》，关于loadrunner的我没有写一篇博客，

2015-12-19 16:14:42 359

转载性能测试知多少---性能需求分析

需求分析是个繁杂过程，它并非我们想象的那么简单，而性能测试需求除了要对系统的业务非常了解，还需要有深厚性能测试知识。才能够挖掘分析出真正的性能需求。　　如何获得有效的需求　　1、客户方提出　　客户方能提出明确的性能需求，说明对方很重视性能测试，这样的企业一般是金融、电信、银行、医疗器械等；他们一般对系统的性能要求非常高，对性能也非常了解。提出需求也比较明确。　　曾经

2015-12-19 16:14:02 1910 1

转载性能测试知多少---了解前端性能

我的上一篇博文中讲到了响应时间，我们在做性能测试时，能过工具可以屏蔽客户端呈现时间，通过局域网的高宽带可以忽略数据传输速度的障碍。这并不是说他们不会对系统造成性能影响。相反，从用户的感受来看，虽然传输速度受用户带宽的限制。但我们可以通过很多技术来使用户想要看到的页面更快的显示。这就web是前端性能。　　如果考虑到web应用本身的特性，响应时间的构成应该会更加复杂。　　Web应用的基

2015-12-19 16:12:58 508

转载性能测试知多少---响应时间

在上一节中，我们讲到吞吐量，做为一个用户你可以对吞吐量毫不关心，但响应时间却是用户感受系统性能的主要体现。　　从用户角度来说，软件性能就是软件对用户操作的响应时间。说得更明确一点，对用户来说，当用户单击一个按钮，发出一条指令或在web页面上单击一个链接，从用户单击开始到应用系统把本次操作的结果以用户能察觉的方式展示出来，这个过程所消耗的时间就是用户对软件性能的直观印象。　　

2015-12-19 16:12:00 945

转载性能测试知多少---并发用户

在做性能测试的时候，我们常常听到并发用户、响应时间、吞吐量专业术语，也许大家都理解，这里有一个理解的层次与深度概念。最近有看断念《软件性能详解与案例分析》一书，看了他的讲解，原来我对这些术语的理解还是比较肤浅，其实，这里也主要受制于自己的知识面。所以，再拿出来与大家重温一下。　　ps：按照惯例先上个图，因为看纯文字的文章比较累！^_^　　并发用户数　　大家都知道我们

2015-12-19 16:11:25 536

转载性能测试知多少---吞吐量

我们每天的生活中都在用水用电，我只会关心自己的水管是否有水，水压是否稳定，如果我们把水龙头拧到最大，还是一滴一滴的流水。那我们就要愤怒了，直接找房东问明情况。我们从来没想过去找自来水公司。我们每天都会上网，网速很慢，看个电影很卡，需要等很久才缓冲一个画面，我们打开网页很慢，IE状态条一直50%，那我们就要愤怒了，直接找电信、网通公司问明情况。　　我想说以上的情况是正常的，如果你在优酷上看视

2015-12-19 16:10:41 474

转载性能测试新手误区（三）：用户数与压力

同样的项目、同样的性能需求，让不同的测试人员来测，会是相同的结果么？　　假设有这样一个小论坛，性能测试人员得到的需求是“支持并发50人，响应时间要在3秒以内”，性能测试人员A和B同时开始进行性能测试（各做各的）。　　只考虑发帖这个操作，A设计的测试场景是50人并发发帖，得到的测试结果是平均完成时间是5秒。于是他提出了这个问题，认为系统没有达到性能期望，需要开发人员进行优化。

2015-12-19 14:57:19 777

转载性能测试新手误区（二）：为什么我模拟的百万测试数据是无效的？

测试环境的重要性无需多说，大家都知道测试环境要尽量的模拟生产环境，当然也包括数据。这样测试的结果才会更加准确的反应真实的性能。就连开发过程，都已经开始在大数据量下加压开发了。那么，关于测试数据，你了解多少呢？　　通常说的测试数据可以分为两类：　　一是为了测试性能而准备的数据，这是用来模拟“压力”的数据。也就是常说的数据量、历史数据等。一般都会根据需求或者经验很容易估算出来，比如案件

2015-12-19 14:43:32 2718

转载性能测试服务日记

本次性能测试日记只是对过程进行记录，对工作进行梳理，其中技术问题涉及到很多，没有过多描述。项目全程15天，投入3个人（协调人，性能测试工程师两名），项目收入大约一辆5系进口bmw(收入保密)。　　正文：　　接到这个任务，刚开始也十分紧张，毕竟有一段时间没有接触BOSS的测试，考虑以前在BOSS性能测试方面有一些经验，另外这个项目也可以锻炼自己在其他知识领域的经验，我欣然接受了这个任

2015-12-19 14:32:28 427

转载简单测试服务器的磁盘I/O性能

利用linux自带的命令可以进行简单的I/O测试。命令如下测试磁盘的write性能：time dd if=/dev/zero of=/test/emma.txt bs=8k count=50000 #time 计时 count 8k大个的个数，count越大，越准确测试磁盘的read性能：time dd if=/dev/zero of=/dev/null bs=8

2015-12-19 14:30:42 1281

转载五步定位性能瓶颈

1、着手在测试前：理清数据流向，数据流程分解　　通过绘制数据流向图，以便清晰的列出所有可能出现瓶颈的位置，避免在分析过程中遗漏可能的瓶颈点。　　系统架构分解——水池模型　　要查找瓶颈，首先要对系统的架构有详细的了解，清楚知道所有可能成为瓶颈的位置。只有这样才能在遇到问题是合理的设计测试用例，对流程的各个步骤进行逐一排查。　　举个例子，家里厨房的水池下水堵了，我们要找

2015-12-19 14:28:47 2616

转载性能测试监控工具nmon安装及使用方法

1、概述　　监控，在检查系统问题或优化系统性能工作上是一个不可缺少的部分。通过操作系统监控工具监视操作系统资源的使用情况，间接地反映了各服务器程序的运行情况。根据运行结果分析可以帮助我们快速定位系统问题范围或者性能瓶颈点。　　nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具，相对于其它一些系统资源监控工具来说，nmon所记录的信息是比较全面的，它能在系统运行

2015-12-19 14:22:44 874

转载性能测试中AIX服务器资源监控与瓶颈分析-1

运行在IBM的P系列服务器上的AIX操作系统以其良好的性能、可扩展性和可用性征服了许多挑剔的用户，在现代主流信息系统中占有重要的地位。本文参考了一些成熟的理论，结合作者的性能测试实践经验，旨在对性能测试中AIX服务器的资源监控进行分析和总结。　　1、负载压力条件下的性能监控　　通过在监控负载压力条件下AIX服务器的表现，针对暴露的性能瓶颈进行调整，可以对信息系统进行优化。而对性能的

2015-12-19 14:19:56 1987

转载能测试中AIX服务器资源监控与瓶颈分析-2

2、性能瓶颈定位及实例分析　　2.1 性能瓶颈定义　　根据业界的惯例和测试经验，将AIX服务器性能瓶颈定义如下（相关指标项主要参考命令行获取）：　　2.2 瓶颈分析经验举例　　经验一：　　当增大系统压力时，吞吐率和TPS的变化曲线呈大体一致，则系统基本稳定；若压力增大时，吞吐率（或点击率）的曲线增加到一定程度后出现变化缓慢，甚至平坦，很可能是网络带宽

2015-12-19 14:17:57 544

转载理性看待性能测试

想来想去，这个文章的名字还是叫理性看待性能测试更为妥当。今天在微博上看到有人@到我提到一个关于性能测试的问题，我在回复了之后，感觉意犹未尽。由于微博上打字太费劲了，想说的话还没说完就不让输入了。只能回来自己写一个文章以平复一下想说未说完的憋闷。　　我们总是会听到这样的话：性能测试工程师应该会操作系统、数据库、网络、应用、代码等等。这样的话，大部分是从有经验的性能测试所谓的前辈的嘴里说

2015-12-19 14:14:42 466

转载性能测试中设置思考时间的作用

先说一个概念：吞吐量，这指的是服务器系统(包括软件和硬件)单位时间内处理业务的数量。我们现在做一个小试验，写一个小程序，执行一个简单的业务，并且在程序中进行计时，计算每分钟能执行多少次。然后当我们运行1路这个程序的时候，每分钟能完成约6万次。好，现在问一个问题，如果我们起2路，是不是每一路都能达到 6万/分钟的吞吐量?　　试验发现，当运行2路的时候，两个程序的数值都降了下来，但是它们

2015-12-19 14:07:24 5755

原创高斯定时器导致的NotHttpResponseException:The target server failed to repond异常 -- 解决

最近学习使用jmeter,使用代理录制脚本,使用高斯随机定时器,记录用户思考时间,录完脚本之后,运行脚本,一直不停的出现NotHttpResponseException:The target server failed to repond异常,后来经过不停测试.发现是高斯随机定时器.的值过大就会导致出现这个异常,调小之后就不在出现这个异常了.不过和我的预期不符啊,我是需要它自动记录的用户思考时间啊

2015-12-19 13:52:17 1349

转载查看/修改mysql数据库连接数、并发数相关信息

mysql> show status like 'Threads%';+-------------------+-------+| Variable_name | Value |+-------------------+-------+| Threads_cached | 58 || Threads_connected | 57 | ###这个数值

2015-12-18 13:00:29 4522

转载 Mysql 查看连接数,状态

命令： show processlist; 如果是root帐号，你能看到所有用户的当前连接。如果是其它普通帐号，只能看到自己占用的连接。 show processlist;只列出前100条，如果想全列出请使用show full processlist; mysql> show processlist; 命令： show status;命令：show stat

2015-12-18 12:56:56 298

maven生成可执行exe文件

解决putty中文乱码---puttycn

空空如也