转载 mongo count/distinct/group

1. count：复制代码代码如下:    --在空集合中，count返回的数量为0。    > db.test.count()    0    --测试插入一个文档后count的返回值。    > db.test.insert({"test":1})    > db.test.count()    1    > db.test.insert({

转载 spring集成 JedisCluster 连接 redis3.0 集群

客户端采用最新的jedis 2.71.maven依赖：redis.clientsjedis2.7.2 2.增加spring 配置Java代码  "genericObjectPoolConfig" class="org.apache.commons.pool2.impl.Gener

转载 每个程序员都必读的10篇文章

作为一名Java程序员和软件开发人员，那些每个程序员都应该知道的XXX的文章教会了我不少东西，它们提供了某个特定领域的一些实用的并且有深度的信息，这些东西通常很难找到。在我学习的过程中我读到过许多非常有用的文章，我把它们添加到了书签里，方便以后阅读或者引用。我个人认为所有开发人员都能从这些文章中受益，因此我也写了篇“每个程序员都应该了解的”文章，准备分享给你们。这是我的个人收藏。在这篇文章中，你会

转载 微博数据库那些事儿：3个变迁阶段背后的设计思想

微博数据库经历的变迁首先为大家分享微博数据库经历的几个重要的阶段。初创阶段初期微博作为一个内部创新产品，功能比较简洁，数据库架构采用的是标准 1M/2S/1MB 结构，按照读写分离设计，主库承担写入，而从库承担访问。如果访问压力过大，可以通过扩容从库的数量获得 scale out 的能力。上图红色代表写入、绿色代表读取、黑色映射到内部结构，由

转载 极光推送实现分组发送和服务端集成

推送功能在手机应用开发中越来越重要，几乎成为所有App必备的功能，由于Android本身没有消息推送机制，通常采用的是基于XMPP协议的推送，但这种开发很麻烦，因此在市场上应运而生了提供消息推送服务的诸多产品，例如：百度云、个推、极光等。极光推送正是一个整合了Android推送、iOS推送的统一推送服务平台。下面讲解一下如何使用极光实现消息推送应用，并重点讲解一下如何实现向

转载 保证分布式系统数据一致性的6种方案

问题的起源在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？ 具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。在分布式系统来说，如果不想牺牲一致性，CAP 理论告诉我们只能放弃可用性，这显然不能接

转载 计算 TPS,QPS 的python 脚本

#!/usr/bin/env python#coding=utf-8""" 以不同方式获取mysql中的tps，qps，并做对比 """import timeimport sysimport osimport MySQLdbimport dbconndef main() :    try:       conn = M

转载 通用权限管理设计 之 数据库结构设计

一，前言 权限管理系统的应用者应该有三种不同性质上的使用，A,使用权限B,分配权限C,授权权限 本文只从《使用权限》和《分配权限》这两种应用层面分析，暂时不考虑《授权权限》这种。二，初步分析用户和角色 说到权限管理，首先应该想到，当然要设计一个用户表，一个权限表。这样就决定了一个人有什么样的权限。做着做着就会发现这样设计太过繁琐，如果公司里面所有员工

转载 mycat+mysql集群:实现读写分离，分库分表

1.mycat文档：https://github.com/MyCATApache/Mycat-doc      官方网站：http://www.mycat.org.cn/2.mycat的优点：配置简单，灵活可实现读写分离可利用多种规则实现分库分表心跳机制，自动踢出故障机组免费开源，长期维护，社区活跃    mycat的缺点：主要是分片之后有一些限制，如只能2表join

转载 JavaEE实战——Tomcat、web程序结构、Http协议、HttpUrlConnection

本文内容Web服务器常用配置 HTTP协议web开发 ------ 网站制作 背景知识web资源两类：静态、动态静态资源：固定数据文件（图片、文本、音频、视频、静态网页文件 html）动态资源：通过程序生成数据文件 客户端访问静态资源时，服务器直接响应客户端访问动态资源时，服务器需要把动态资源转换成静态资源，再响应访问web资源：

转载 消息队列业务模型

转载 zookeeper高可用集群升级构图

转载 activemq高可用集群构图

转载 redis高可用集群构图

转载 nginx高可用构图

转载 fastDFS高可用构图

转载 mycat高可用构图

转载 MySQL单表百万数据记录分页性能优化

背景：自己的一个网站，由于单表的数据记录高达了一百万条，造成数据访问很慢，Google分析的后台经常报告超时，尤其是页码大的页面更是慢的不行。测试环境：先让我们熟悉下基本的sql语句，来查看下我们将要测试表的基本信息use infomation_schemaSELECT * FROM TABLES WHERE TABLE_SCHEMA = ‘dbname’

转载 MongoDB配置参数详解：

MongoDB配置参数详解：#对mongo实例来说，每个host允许链接的最大链接数,这些链接空闲时会放入池中,如果链接被耗尽，任何请求链接的操作会被阻塞等待链接可用,推荐配置10connectionsPerHost=10#当链接空闲时,空闲线程池中最大链接数minPoolsSize=5#此参数跟connectionsPerHost的乘机为一个线程变为可用的最大阻塞数，超过此乘

转载 Durid数据源Mysql配置

有些数据库连接的时候有超时限制（MySQL连接在8小时后断开），或者由于网络中断等原因，连接池的连接会出现失效的情况，这时候可以设置一个testWhileIdle参数为true，如果检测到当前连接不活跃的时间超过了timeBetweenEvictionRunsMillis，则去手动检测一下当前连接的有效性，在保证确实有效后才加以使用。在检测活跃性时，如果当前的活跃时间大于minEvicta

转载 Druid加密密码

1、切换的druid-0.2.9.jar包所在目录2、在命令行中执行如下命令：java -cp druid-0.2.9.jar com.alibaba.druid.filter.config.ConfigTools 密码或者java -cp druid-0.2.9.jar com.alibaba.druid.filter.config.ConfigTools 用户名/密码

转载 redis缓存数据

=======MyBatis缓存使用说明===========1, 在应用的服务中sping-context.xml import 引入  spring-jedis.xml 先将 spring-jedis.xml 考过去2, 目前设置 redis默认缓存 时间为1个小时。3, 在SQLMap.xml 文件中添加了 缓存实现类才能生效如下：  具体 可以看 wusc.edu.pa

转载 基于redis集群的tomcat集群session共享

1.准备好redis集群2、 下载https://github.com/ran-jit/TomcatRedisClusterEnabledSessionManager/archive/master.zip解压， 找到 lib 目录中的jedis-3.0.0-SNAPSHOT.jarcommons-pool2-2.2.jarcommons-logging-1.1.jar

转载 Git 标签管理详解

大纲：一、前言二、标签概述三、创建标签四、管理标签五、总结注，测试机 CentOS 5.5 x86_64，Git 服务器版本：git version 1.8.2.1，客户端版本：git version 1.9.2.msysgit.0。所有软件请到这里下载：http://msysgit.github.io/。一、前言在上一篇

转载 Git 分支管理详解

1.前言2.创建分支3.切换分支4.合并分支（快速合并）5.删除分支6.分支合并冲突7.合并分支（普通合并）8.分支管理策略9.团队多人开发协作10.总结注，测试机 CentOS 5.5 x86_64，Git 服务器版本：git version 1.8.2.1，客户端版本：git version 1.9.2.msysg

转载 maven + eclipse 问题记录

1、警告：The tag handler class for "s:form" (org.apache.struts2.views.jsp.ui.FormTag) was not found on the Java Build Path这个问题终于可以解决了， 在出问题的页面  标签前后删除空格后保存文件 警告即可消失，即为改行的起始，然后保存。 2、Eclipse下Ja

转载 mariadb安装

使用的是linode的centos7系统，安装mysql发现已经默认的是mariadb。但是不管是使用linode官网说明还是百度搜索到的的根本安装方法无法安装成功。总是提示这一句：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock

转载 git常用命令

一般来说，日常使用只要记住下图6个命令，就可以了。但是熟练使用，恐怕要记住60～100个命令。下面是我整理的常用 Git 命令清单。几个专用名词的译名如下。Workspace：工作区Index / Stage：暂存区Repository：仓库区（或本地仓库）Remote：远程仓库一、新建代码库# 在当前目录新建一个Git代码库$

转载 git 解析

repository 远程代码库，一个项目可包含多个工程remote 远程主机别名，即远程.git文件夹别名，远程代码库别名git config --global user.name "your_username"git config --global user.email your_email@domain.comgit config --global push.default

转载 git安装使用

服务器安装rpm -qa git没安装就yum install gitcd ~mkdir .sshssh-keygen -t rsacd ./.ssh/cat id_rsa.pub >> ~/.ssh/authorized_keyscd /usr/localmkdir gitcodecd gitcodemkdir edu.gitgit --b

转载 git初始化导致客户端提交异常

在使用Git Push代码到数据仓库时，提示如下错误:[remote rejected] master -> master (branch is currently checked out)错误原型remote: error: refusing to update checked out branch: refs/heads/masterremote

转载 LVS:Haproxy、Keepalived双主高可用负载均衡

默认情况下，第一台负载均衡器主要分发www.zhirs.com的请求，第二台负载均衡器主要分发img.zhirs.com的请求。 任意一台宕机都不会影响网站分发。实验环境 VIP1=192.168.137.200 (www.zhirs.com) VIP2=192.168.137.100 (img.zhirs.com) haproxy01=192.168.137.254

转载 haproxy初探

安装tar zxvf haproxy-1.6.5.tar.gzcd haproxy-1.6.5uname -a //查看linux内核版本make TARGET=linux26 PREFIX=/usr/local/haproxymake install PREFIX=/usr/local/haproxy示例配置####################全局配置信息

转载 mysql单机多实例

安装mysqlhttp://download.csdn.net/detail/mchdba/7545037 下载mysql-5.6.12.tar.gzyum install cmake -yyum install -y ncurses-devel.x86_64mkdir-p /usr/local/mysqltar -xvf mysql-5.6.12.tar.gzcd mys

转载 Mysql海量数据存储和解决方案第二篇 Mysql分表查询海量数据

前面已经讲过Mysql实现海量海量数据存储查询时，主要有几个关键点，分表，分库，集群，M-S，负载均衡。其中分库分表是很重要的一点。分库是如何将海量的MySQL数据放到不同的服务器中，分表则是在分库基础上对数据现进行逻辑上的划分。数据划分可有多种方式，找到一个主键后，可以按号段分，也可以Hash取模分，也可以选择在认证库中保存DB配置。具体如何选择具体情况具体分析。

转载 Mysql海量数据存储和解决方案第一篇 分布式DB方案

1)  分布式DB水平切分中用到的主要关键技术：分库，分表，M-S,集群，负载均衡2) 需求分析：一个大型互联网应用每天几十亿的PV对DB造成了相当高的负载，对系统的稳定性的扩展性带来极大挑战。3) 现有解决方式：通过数据切分提高网站性能，横向扩展数据层      水平切分DB，有效降低了单台机器的负载，也减小了宕机的可能性。      集群方案：解决DB宕

转载 MySQL 数据库性能优化第四篇文章之SQL优化

有人反馈之前几篇文章过于理论缺少实际操作细节，这篇文章就多一些可操作性的内容吧。注：这篇文章是以 MySQL 为背景，很多内容同时适用于其他关系型数据库，需要有一些索引知识为基础优化目标减少 IO 次数IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考

转载 MySQL 数据库性能优化第三篇文章之索引优化

大家都知道索引对于数据访问的性能有非常关键的作用，都知道索引可以提高数据访问效率。为什么索引能提高数据访问性能？他会不会有“副作用”？是不是索引创建越多，性能就越好？到底该如何设计索引，才能最大限度的发挥其效能？这篇文章主要是带着上面这几个问题来做一个简要的分析，同时排除了业务场景所带来的特殊性，请不要纠结业务场景的影响。索引为什么能提高数据访问性能？很多人只知道索引能

转载 MySQL 数据库性能优化第二篇文章之表结构优化

很多人都将 数据库设计范式 作为数据库表结构设计“圣经”，认为只要按照这个范式需求设计，就能让设计出来的表结构足够优化，既能保证性能优异同时还能满足扩展性要求。殊不知，在N年前被奉为“圣经”的数据库设计3范式早就已经不完全适用了。这里我整理了一些比较常见的数据库表结构设计方面的优化技巧，希望对大家有用。由于MySQL数据库是基于行（Row）存储的数据库，而数据库操作 IO 的时候是以 pa

转载 MySQL 数据库性能优化第一篇文章之缓存参数优化

在平时被问及最多的问题就是关于 MySQL 数据库性能优化方面的问题，所以最近打算写一个MySQL数据库性能优化方面的系列文章，希望对初中级 MySQL DBA 以及其他对 MySQL 性能优化感兴趣的朋友们有所帮助。这是 MySQL数据库性能优化专题 系列的第一篇文章：MySQL 数据库性能优化之缓存参数优化数据库属于 IO 密集型的应用程序，其主要职责就是数据的管理及存储工