aibi2794-CSDN博客

转载系统吞吐量（TPS）、用户并发量、性能测试概念和公式

PS：下面是性能测试的主要概念和计算公式，记录下：一．系统吞度量要素：一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间QPS（TPS）：每秒钟requ...

2017-07-17 17:57:00 1561

转载 (转)Elasticsearch search-guard 插件部署

我之前写了ELK+shield的部署文档，由于shield是商业收费的，很多人都推崇开源项目search-guard来做ELK的安全组件，准确来说是elasticsearch的安全组件。search-guard的部署很简单，但是开始着手弄，完全不了解的情况下还是会踩一些坑，加上网上对新版本使用介绍少，所以我决定写一遍search-guard的部署文档。search-guard插件包含两...

2017-06-13 10:18:00 454

转载 (转)elasticsearch5.2.2 压测配置

1、elasticsearch.yml# ---------------------------------- Cluster -----------------------------------## Use a descriptive name for your cluster:#cluster.name: zjf-test## -------------...

2017-06-08 09:41:00 438

转载 (转) Elasticsearch 5.0 安装 Search Guard 5 插件

一、Search Guard 简介Search Guard是Elasticsearch的安全插件。它为后端系统（如LDAP或Kerberos）提供身份验证和授权，并向Elasticsearch添加审核日志记录和文档/字段级安全性。Search Guard所有基本安全功能都是免费的，并且内置在Search Guard中。 Search Guard支持OpenSSL...

2017-06-06 11:00:00 184

转载 (转)设置Sysctl.conf用以提高Linux的性能(最完整的sysctl.conf优化方案)

Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些 TCP/IP 堆栈和虚拟内存系统的高级选项，这可以让有经验的管理员提高引人注目的系统性能。用sysctl可以读取设置超过五百个系统变量。基于这点，sysctl(8) 提供两个功能：读取和修改系统设置。查看所有可读变量：% sysctl -a读一个指定的变量，例如 kern.maxproc：% sy...

2017-05-25 17:22:00 144

转载分布式搜索elasticsearch配置文件详解

配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。所有的配置都可以使用环境变量，例如： node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。下面列举一下elasticsear...

2017-05-04 13:22:00 112

转载 (转）ActiveMQ的重连机制

花了一天的时间，终于搞明白了我的疑问。failover://(tcp://localhost:6168)?randomize=false&initialReconnectDelay=100&timeout=2000failover:(tcp://localhost:6168?wireFormat.maxInactivityDuration=0)&max...

2017-02-13 10:17:00 217

转载（转）Linux 命令--查看物理CPU个数、核数、逻辑CPU个数

2017-01-23 17:31:00 121

转载哈佛大学凌晨4点半的景象

看到一篇关于哈佛大学学生是如何学习的文章，贴出来与大家共勉之。如果管理员觉得本文不合适放在首页，可以放在其他地方，谢谢！哈佛老师经常给学生这样的告诫：如果你想在进入社会后，在任何时候任何场合下都能得心应手并且得到应有的评价，那么你在哈佛的学习期间，就没有晒太阳的时间。作为闻名于世的学府，哈佛大学培养了许多名人，他们中有33位诺贝尔奖获得者、7位美国总统以...

2017-01-06 10:26:00 115

转载 (转)关于ActiveMQ的配置

目前常用的消息队列组建无非就是MSMQ和ActiveMQ，至于他们的异同，这里不想做过多的比较。简单来说，MSMQ内置于微软操作系统之中，在部署上包含一个隐性条件：Server需要是微软操作系统。（对于这点我并去调研过MSMQ是否可以部署在非微软系统，比如:Linux，只是拍脑袋想了想，感觉上是不可以）。对于ActiveMQ，微软系统和Linux都是可以部署的。从功能方面来说...

2017-01-05 12:35:00 183

转载（转）NEST.net Client For Elasticsearch简单应用

由于最近的一个项目中的搜索部分要用到 Elasticsearch 来实现搜索功能，苦于英文差及该方面的系统性资料不好找，在实现时碰到了不少问题，现把整个处理过程的代码分享下，给同样摸索的人一些借鉴，同时希望有经验的大牛发现有问题的地方不吝斧正！查询入口webapi 的部分代码，把查询条件封装到eJobQueryPosition 中var param = new ...

2016-11-03 23:53:00 200

转载（转）Elasticsearch .net client NEST使用说明 2.x

Elasticsearch.Net与NEST是Elasticsearch为C#提供的一套客户端驱动，方便C#调用Elasticsearch服务接口。Elasticsearch.Net是较基层的对Elasticsearch服务接口请求响应的实现，NEST是在前者基础之上进行的封装。本文是针对NEST的使用的总结。引用Install-Package NEST包含以下...

2016-11-03 23:51:00 218

转载代码走查工具

http://download.csdn.net/download/lu_yongchao/5224284转载于:https://www.cnblogs.com/ywcz060/p/5975573.html

2016-10-18 23:25:00 234

转载 (转)linux IO 内核参数调优之参数调节和场景分析

1. pdflush刷新脏数据条件（linux IO 内核参数调优之原理和参数介绍）上一章节讲述了IO内核调优介个重要参数参数。总结可知cached中的脏数据满足如下几个条件中一个或者多个的时候就会被pdflush刷新到磁盘：（1）数据存在的时间超过了dirty_expire_centisecs（默认30s）时间（2）脏数据所占内存 /（MemFree + Ca...

2016-06-30 12:19:00 97

转载 (转) Linux调优方案，sysctl.conf的设置

$ /proc/sys/net/core/wmem_max最大socket写buffer,可参考的优化值:873200$ /proc/sys/net/core/rmem_max最大socket读buffer,可参考的优化值:873200$ /proc/sys/net/ipv4/tcp_wmemTCP写buffer,可参考的优化值:32768 436600 873200$ /p...

2016-06-28 16:44:00 160

转载 (转)在 CentOS7 上安装 MongoDB

在 CentOS7 上安装 MongoDB1 通过 SecureCRT 连接至 CentOS7 服务器；2 进入到 /usr/local/ 目录：cd /usr/local3 在当前目录下创建 tools 目录：mkdir -p tools4 进入到 tools 目录中：cd tools5 下载与 CentOS 系统匹配的 mongodb-linux-x86_6...

2016-06-28 09:47:00 111

转载 (转)Linux NUMA引发的性能问题

最近某客户的核心业务系统又出了翻译缓慢的情况。该问题在6月份也出现过，当时进行了一次调整。我们首先来看下故障时间段的awr报告：单纯的从TOP 5 event，基本上是看不出任何东西的，可能有人会说这里log file sync等待不是有点高了吗？实事求是的讲，12ms确实超过正常情况的值，但是也不算高，通常遇到log...

2016-06-21 16:27:00 823

转载 (转)Linux常用性能检测命令

一、uptime Uptime命令的显示结果包括服务器已经运行了多长时间，有多少登陆用户和对服务器性能的总体评估（load average）。load average值分别记录了上个1分钟，5分钟和15分钟间隔的负载情况，load average不是一个百分比，而是在队列中等待执行的进程的数量。如果进程要求CPU时间被阻塞（意味着CPU没有时间处理它），load average值...

2016-06-21 16:24:00 118

转载 (转)《linux性能及调优指南》 3.3 内存瓶颈

2016-06-21 16:23:00 137

转载 (转)centos6.5下Zabbix系列之Zabbix安装搭建及汉化

最近在研究zabbix，在整理完成之后就有了写一下总结博客的想法，在我研究zabbix的时候给我很大帮助的是it你好，博客地址 http://itnihao.blog.51cto.com/他做的zabbix使用手册非常棒，很完整，在此感谢it你好在zabbix方面给大家做出的贡献，好了废话不多说，下面就开始咱们的使用zabbix第一步安装搭建及汉化(其实这部分完全可以去看官方文档，里面...

2016-06-20 17:20:00 135

转载 (转)Nginx配置和内核优化实现突破十万并发

nginx指令中的优化（配置文件）worker_processes 8;　　nginx进程数，建议按照cpu数目来指定，一般为它的倍数。worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;　　为每个进程分配cpu，上例中将8个进程分配到8个c...

2016-06-20 16:59:00 80

转载 (转)资源监控工具Spotlight监测LINUX

个人1、安装spotlight，Spotlight on Unix2、配置spotlight，注意spotlight默认不能使用root用户进行连接，需要用户自己创建一个具有root权限的用户。（1）useradd spotlight（2）passwd spotlight；（3）vi /etc/passwd（4）将spotlight的UID和GID改成0：0X后面的两个数字3、由于spo...

2016-06-20 09:29:00 197

转载 (转) linux I/O优化磁盘读写参数设置

关于页面缓存的信息，可以用cat /proc/meminfo看到。其中的Cached 指用于pagecache的内存大小（diskcache-SwapCache）。随着写入缓存页，Dirty 的值会增加。一旦开始把缓存页写入硬盘,Writeback的值会增加直到写入结束。Linux 用pdflush进程把数据从缓存页写入硬盘，查看有多少个pdflush进程cat /proc/sys/v...

2016-06-16 09:43:00 82

转载 (转)MongoDB numa系列问题三：overcommit_memory和zone_reclaim_mode

内核参数overcommit_memory ：它是内存分配策略可选值：0、1、2。0:表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。1:表示内核允许分配所有的物理内存，而不管当前的内存状态如何。2:表示内核允许分配超过所有物理内存和交换空间总和的内存内核参数zone_reclaim_mode...

2016-06-14 15:34:00 148

转载 (转)mongdb性能优化收集

一、数据库最大连接数问题当你在后台日志中，发现大量“connection refused because too many open connections: 819”信息时，一般跟你没有设置合适的最大连接数值有关。默认情况下,在LINUX系统中，MONGODB默认连接数为819,你可以适当调大这个值，但注意这个值不是无限大，最多可设置成20000, 参见MONGODB的官方说明。我们可...

2016-06-14 14:22:00 84

转载 (转)部署MongoDB时需要注意的调参

部署MongoDB的生产服务器，给出如下相关建议：使用虚拟化环境；系统配置 1）推荐RAID配置RAID(Redundant Array of Independent Disk，独立磁盘冗余阵列)是一种可以让我们把多块磁盘当做单独一块磁盘来使用的技术。可使用它来提高磁盘的可靠性或者性能，或二者兼有。一组使用RAID技术的磁盘被称作RAID磁盘阵列。RA...

2016-06-14 10:19:00 94

转载 (转)Loadrunner监控Linux的17个指标

1、Average load：Average number of processes simultaneously in Ready state during the last minute. 上一分钟同时处于“就绪”状态的平均进程数2、Collision rate：Collisions per second detected on the Ethernet. 每秒钟在以太网...

2016-06-08 08:50:00 191

转载 (转)linux 内存管理——内核的shmall 和shmmax 参数

内核的 shmall 和 shmmax 参数SHMMAX= 配置了最大的内存segment的大小 ------>这个设置的比SGA_MAX_SIZE大比较好。SHMMIN= 最小的内存segment的大小SHMMNI= 整个系统的内存segment的总个数SHMSEG= 每个进程可以使用的内存segment的最大个数配置信号灯（ semphore ）的参数：SEMMSL= ...

2016-06-07 10:17:00 110

转载 (转)Linux性能调优之虚拟内存篇

简单地说，虚拟内存就是硬盘中的一块区域，它用来存放内存里使用频率不高的页面文件。好处是为了提高内存的利用率 - 让使用频率高的页面文件活动在内存区域中，提高CPU对数据操作的速度。在Linux中，这个区域叫做swap,一般大小应设置为物理内存的2倍。 vm.swappiness是Linux内核的一个参数，范围是0～100。它表示实际内存和虚拟内存区域进行数据交换的倾向性大小，数值...

2016-06-07 08:49:00 97

转载 (转)LR监控Linux系统性能计数器详解

从LR里面add measurement，填写linux机器的IP，出现所有unix/linux的计数器，包括cpu的，mem的，disk，network的。这里介绍几个常用的：（对于如何监控Linux，请参考之前这写的一篇文章《loadrunner监控Linux之前需要做的准备工作》）average load :在过去的1分钟的平均负载cpu utilization: cp...

2016-06-06 17:35:00 141

转载 (转)Linux vmstat命令实战详解

vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。一般v...

2016-06-06 17:24:00 81

转载 (转)MongoDB 3.0 WT引擎参考配置文件

mongodb3.0 改变很多，从2.6版本升级到3.0要关注的细节很多，如权限等等。3.0在数据存储引擎上更换成了wiredTiger，在数据压缩方面很有效，解决大数据量问题的情况下，磁盘不够用的问题。mongodb 3.0 配置文件采用的是YAML格式，只能使用空格，不支持tab键。单实例1234567...

2016-06-03 19:13:00 109

转载 (转)mongodb常用命令脚本化-自动化运维

mongodb常用命令脚本化-自动化运维把一些运维中常用到的mongodb命令写成shell脚本，极大的方便了维护1 设置副本集#!/bin/bash#mongodb 进入client 并use admincd /usr/mongodb/binMongoDB='./mongo 192.168.1.7:37017'$MongoDB <<EOFuse ad...

2016-06-03 19:08:00 125

转载 (转)MongoDB 实现currentOp定时捕获

问题描述：当分析生产环境发生的性能问题时，常常因为没有实时的依据而无从下手。那么笔者通过捕获db.currentOp()到文件，并作为定时任务，可供后续分析。解决方法：步骤一：Shell脚本记录db.currentOp()1. 创建文件夹mkdir currentOp2.创建currentOp.sh#!/bin/shMONGO=/usr/bin/mongoDA...

2016-06-03 18:38:00 110

转载 (转)MongoDB分片实战集群搭建

环境准备Linux环境主机OS备注192.168.32.13　CentOS6.3 64位　普通PC192.168.71.43　CentOS6.2 64位　服务器，NUMA CPU架构MongoDB版本：mongodb-linux-x86_64-2.4.1，下载地址：www.mongodb.org/down...

2016-06-03 15:35:00 104

转载 (转)文件系统缓存dirty_ratio与dirty_background_ratio两个参数区别

这两天在调优数据库性能的过程中需要降低操作系统文件Cache对数据库性能的影响，故调研了一些降低文件系统缓存大小的方法，其中一种是通过修改/proc/sys/vm/dirty_background_ration以及/proc/sys/vm/dirty_ratio两个参数的大小来实现。看了不少相关博文的介绍，不过一直弄不清楚这两个参数的区别在哪里，后来看了下面的一篇英文博客才大致了解了...

2016-06-03 15:04:00 917

转载 (转)每天一个linux命令（46）：vmstat命令

vmstat是VirtualMeomoryStatistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监控。他是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。vmstat工具提供了一种低开销的系统性能观察方式。因为vmstat本身就是低开销工具，在非常高负荷的服务器上，你需要查看并监控系统的健康情况,在控制窗口还是能够使用vmsta...

2016-06-03 12:58:00 135

转载 (转)linux查看CPU性能及工作状态的指令mpstat，vmstat，iostat，sar，top

衡量CPU性能的指标：1，用户使用CPU的情况；CPU运行常规用户进程CPU运行niced processCPU运行实时进程2，系统使用CPU情况；用于I/O管理：中断和驱动用于内存管理：页面交换用户进程管理：进程开始和上下文切换3，WIO：用于进程等待磁盘I/O而使CPU处于空闲状态的比率。4，CPU的空闲率，除了上面的WIO以外的空闲时间5，CPU用于上...

2016-06-02 13:27:00 98

转载 (转)为首次部署MongoDB做好准备：容量计划和监控

如果你已经完成了自己新的MongoDB应用程序的开发，并且现在正准备将它部署进产品中，那么你和你的运营团队需要讨论一些关键的问题：最佳部署实践是什么？为了确保应用程序满足它所必须的服务层次我们需要监控哪些关键指标？如何能够确定添加分片的时机？有哪些工具可以对数据库进行备份和恢复？怎样才能安全地访问所有新的实时大数据？本文介绍了硬件选择、扩展、HA和监控。在...

2016-06-02 08:47:00 76

转载 (转) 线上环境部署MongoDB的官方建议

本文主要内容来自MongoDB官方文档http://docs.mongodb.org/manual/administration/production-notes/。并结合了实际工作情况进行分享。1)软件包的选择确保使用最新的稳定版本。目前我们线上使用的版本是2.4.6。MongoDB软件包下载页面http://www.mongodb.org/downloads。确保线...

2016-06-02 08:39:00 104

空空如也

空空如也