2015年08月_xiaomin_____

原创 windows下安装redis

1、redis简介redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis...

2015-08-31 00:03:07 64

原创 Redis常用命令

Redis常用命令集1）连接操作命令quit：关闭连接（connection）auth：简单密码认证help cmd：查看cmd帮助，例如：help quit2）持久化save：将数据同步保存到磁盘bgsave：将数据异步保存到磁盘lastsave：返回上次成功将数据保存到磁盘的Unix时戳shundown：将数据同步保存到磁盘，然后关闭服务...

2015-08-31 00:02:25 64

原创 JAVA客户端调用memcached

1.memcached client for java客户端API：memcached client for java 网址：http://www.whalin.com/memcached 最新版本：java_memcached-release_2.0.1 操作示例： Java代码 import com.danga.MemCached.*; import org...

2015-08-31 00:01:47 81

原创 redis 用setbit(bitmap)统计活跃用户

Redis支持对String类型的value进行基于二进制位的置位操作。通过将一个用户的id对应value上的一位，通过对活跃用户对应的位进行置位，就能够用一个value记录所有活跃用户的信息。如下图所未，下图中的bitmap有9个位被置为1，表示这9个位上对应的用户是今天的活跃用户。其中第15位表示uid为15的用户，第一位表示uid为0的用户。（如果你的uid不是从1开始的，比如从10...

2015-08-31 00:01:20 252

原创关于redis、memcache、mongoDB 的对比

1、性能都比较高，性能对我们来说应该都不是瓶颈总体来讲，TPS方面redis和memcache差不多，要大于mongodb2、操作的便利性 memcache数据结构单一 redis丰富一些，数据操作方面，redis更好一些，较少的网络IO次数 mongodb支持丰富的数据表...

2015-08-31 00:01:02 94

原创 memcached安装配置

一、memcached安装配置windows平台安装1、memcached-1.2.6-win32-bin.zip下载地址： http://code.jellycan.com/memcached/，执行memcached.exe -d install 安装。2、守护进程方式启动：memcached.exe -m 512 -d start-d为守护进程启动，不能指定端口默认端口11...

2015-08-30 09:25:18 93

原创 Memcached分布式实现

memcached 虽然称为 “ 分布式 ” 缓存服务器，但服务器端并没有 “ 分布式 ” 功能。每个服务器都是完全独立和隔离的服务。 memcached 的分布式，则是完全由客户端程序库实现的。这种分布式是 memcached 的最大特点。分布式原理这里多次使用了 “ 分布式 ” 这个词，但并未做详细解释。现在开始简单地介绍一下其原理，各个客户端的实现基本相同。 ...

2015-08-30 09:24:55 81

原创 lucene4.7 分词器（三）之自定义分词器

一些特殊的分词需求，在此做个总结。本来的Lucene的内置的分词器，差不多可以完成我们的大部分分词工作了，如果是英文文章那么可以使用StandardAnalyzer标准分词器，WhitespaceAnalyzer空格分词器,对于中文我们则可以选择IK分词器，Messeg4j,庖丁等分词器。我们先来看看下面的几个需求编号需求分析1按单个字符进行分词无论是数字，字母...

2015-08-30 09:24:31 81

原创 lucene4.7 过滤Filter（六）

摘要关于过滤方面的知识，也就是Filter，如果了解Solr的朋友们，肯定都会知道Solr里面fq这个参数，这个参数的作用其实就是lucene里面的过滤，对一些q参数查询的结果集，做过滤或者限制返回一些我们需要的内容，可以理解成缩小搜索空间的一种策略。先介绍下查询与过滤的区别和联系，其实查询(各种Query)和过滤(各种Filter)之间非常相似，可以这样说只要用Que...

2015-08-30 09:23:23 95

原创 Nginx + Memcached + Tomcat 集群

前几天搭建了apche+tomcat集群，被大牛拍砖，今天查了点资料，搭建了Nginx + Memcached + Tomcat 集群，与大家分享下：一：环境Tomcat7，下载链接：http://tomcat.apache.org/Nginx是nginx-1.2.8，下载链接：http://nginx.org/en/download.htmlMemcached是memcach...

2015-08-30 09:22:53 104

原创 lucene4.7 分词器（三）

前面几章笔者把Lucene基本入门的任督二脉给打通了，从此篇开始，就开始进行Lucene的进阶开发了，那么首先摆在我们面前的第一个必须要解决的问题，就是关于中文分词的问题，因为Lucene毕竟是国外的大牛们开发的，显然会比较侧重英文文章，不过还好，在Lucene的下载包里同步了SmartCN的分词器针对中文发行的，每一次Lucene有新的版本发行，这个包同时更新。笔者比较推荐的中文分词器是I...

2015-08-29 00:48:17 68

原创 Lucene--FuzzyQuery与WildCardQuery（通配符）

FuzzyQuery：创建索引： ?1234567891011121314151617181920212223242526272829303132333435363738IndexWriter wri...

2015-08-29 00:47:41 142

原创 lucene4.7 过滤Filter（六） ---去重的filter（DuplicateFilte）

我们在来看下不在Filter家族中的一个特殊的filter，属于Lucene捐赠模块的特殊包中的类DuplicateFilter，这个filter的作用是用来对某个字段进行去重操作的，类似数据库中的Distinct关键字，可以实现对某个列的结果集去重，这个去重的字段，一般情况下是不建议分词的，因为分词后，可能去重效果不准确. 举个例子，来说明分词后去重，会造成什么情况，假如我们的索...

2015-08-29 00:47:04 167

原创 lucene4.x的分组实现

lucene在4.x之前，没有实现分组的功能，如果业务中有需要分组的功能，那么必须的借助第三方的提供的插件，来实现分组，例如Bobo-browse，或者，自己用lucene写分组功能，笔者个人觉得用第三方的分组插件，虽说功能强大，但是比较繁琐，自己写的话，可以实现，但是效率方面却不是很好，在4.x之后，lucene已经自己实现分组功能提供了分组jar包 lucene-grouping-4.2....

2015-08-29 00:46:41 145

原创 lucene4.7 收集器Collector（七）

我们先来回顾下，一个基本的搜索流程是怎么完成的 1，得到一个索引目录Directory(可能基于内存的或者磁盘的)。 2，得到一个DirectoryReader。 3，实例化查询组件IndexSearcher。 4，检索得到TopDoc查询结果集 5,遍历ScoresDocs处理结果我们看下这个检索的流程，大概可以分这5步，前1,2,3算是准备工作，后面的2步是我们经常需要进行数据处理的...

2015-08-29 00:46:19 178

原创 lucene4.7 正则查询（RegexpQuery）（八）

今天要分享的是关于lucene中另外一种丰富的查询方式----正则查询，lucene内置了许多的查询API，以及更强大的自定义查询方式的QueryParse，大部分情况下我们使用内置的查询API，基本上就可以满足我们的需求了，但是如果你想更灵活的定制自己的查询或者改写自己的查询API那么你完全可以继承QueryParse类来完成这项工作。从某种方式上来说，正则查询（RegexpQuery）跟...

2015-08-28 00:29:34 160

原创 lucene4.7 高亮功能（八）

高亮功能一直都是全文检索的一项非常优秀的模块，在一个标准的搜索引擎中，高亮的返回命中结果，几乎是必不可少的一项需求，因为通过高亮，我们可以在我们的搜索界面上快速标记出用户的检索关键词，从而减少了用户自己寻找想要的结果，在一定程度上大大提高了用户的体验性和友好度。那么，今天就来看下我们在Lucene中，怎么实现高亮，以及高亮的几种实现方式。首先还是喜欢老生常谈的来补充下高亮需要的熟悉的基本知...

2015-08-28 00:29:14 75

原创 Lucene/Solr 中文分词比较

对几种中文分析器，从分词准确性和效率两方面进行比较。分析器依次为： StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer（JE分词）、PaodingAnalyzer。单纯的中文分词的实现一般为按字索引或者按词索引。按字索引顾名思义，就是按单个字建立索引。按词...

2015-08-28 00:28:05 184

原创 Lucene 评分(score)机制--Document Boost和Field Boost

目录[-]在索引阶段设置Document Boost和Field Boost，存储在(.nrm)文件中。在搜索语句中，设置Query Boost.继承并实现自己的Similarity继承并实现自己的collector在索引阶段设置Document Boost和Field Boost，存储在(.nrm)文件中。如果希望某些文档和某些域比其他的域更重...

2015-08-28 00:27:32 100

原创 mongodb主从，副本集，分片的理解

MongoDb在用于生产环境的三种模式，master/slaves（主从模式）;replcation副本集;auto shard 分片模式在早期的系统设计中，主从模式是比较流行的，将读写分离，在不同的DB上操作，可以有效降低数据库的压力，而且还能实现数据的备份，但是在master节点故障的时候，不能及时的自动的切换到slaves节点，需要手动干预，这个是硬伤目...

2015-08-28 00:27:13 96

原创 mongodb分片

MongoDB---分片简析分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用.1.分片简介分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能强大的大型计算机就可以存储更多的数据,处理更大的负载.使用几乎所有数据库软件都能进行手动分片,应用需要维护与若干不同数据库服务器的连...

2015-08-27 23:00:08 83

原创 MongoDB——主从复制&副本集

前面我说到了，MongoDB数据库支持服务器之间的数据复制。支持主从模式及服务器之间的相互复制。目的当然是实现负载均衡与故障恢复。Mongo中内置了两种技术：主从复制、副本集。下面就简单介绍这两种模式的配置。一、主从复制主从复制是一个简单的数据库同步备份的集群技术。模型如下：　　需要注意：在...

2015-08-27 21:43:21 82

原创大数据OLAP与OLTP分析

1. 首先，咱们先不拿大数据说事，先分析一下OLAP及OLTP。 OLAP: 联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持。 OLTP: 联机事务处理(OLTP，On-line Transaction Processing)应用，它所存储的数据被称为操作数据或者业务数据。所以从定位...

2015-08-27 17:50:07 294

原创 ActiveMQ异步发送消息

异步发送消息ActiveMQ 支持生产者以同步或异步模式发送消息。使用不同的模式对send 方法的反应时间有巨大的影响，反映时间是衡量ActiveMQ 吞吐量的重要因素，使用异步发送可以提高系统的性能。在默认大多数情况下，AcitveMQ 是以异步模式发送消息。例外的情况：在没有使用事务的情况下，生产者以PERSISTENT 传送模式发送消息。在这种情况下，send 方法都是同步的，并且一直阻塞...

2015-08-27 14:39:12 259

原创 mongoDB之用户及权限设置

之前用MongoDB没有设置用户和权限，一直都是本机应用程序连接MongoDB。在服务器上部署后对外没有开数据库连接端口，本机应用程序连接再开放应用程序端口供外部访问。想想很不对劲还是设置下用户授权吧。　　我部署的环境是windows下MongoDB2.4.8版本。首先要开启安全模式的话，在启动MongoDB服务的时候就要加上--auth参数，命令如下：D:\mongodb>...

2015-08-27 00:00:17 143

原创 mongoDB--GridFS简介

前言 :GridFS从名字来看,就明白是一个文件系统,它是mongodb的一个子模块,使用GridFS可以基于mongodb来持久存储文件.并且支持分布式应用(文件分布存储和读取). 使用场景:如果你的系统有如下情景1) 有大量的上传图片(用户上传或者系统本身的文件发布等)2) 文件的量级处于飞速增长,有可能打到单机操作系统自己的文件系统的查询性能瓶颈,甚至超过单机硬盘的扩容范围...

2015-08-26 21:52:16 97

原创 Mongodb固定集合

Capped Collection(固定集合)简单介绍capped collections是性能出色的有着固定大小的集合，以LRU（Least Recently Used最近最少使用）规则和插入顺序进行age-out（老化移出）处理，自动维护集合中对象的插入顺序，在创建时需要预先指定大小。如果空间用完，新添加的对象将会取代集合中最旧的对象永远保持最新的数据功能特点可以插入及更新，但更新不能超出c...

2015-08-26 21:41:55 64

原创 Netty之有效规避内存泄漏

http://www.iteye.com/news/30866 有过痛苦的经历，特别能写出深刻的文章 —— 凯尔文. 肖直接内存是IO框架的绝配，但直接内存的分配销毁不易，所以使用内存池能大幅提高性能。但，要重新培养被Java的自动垃圾回收惯坏了的惰性。 Netty有一篇必读的文档官方文档翻译：引用计数对象，在此基础上补充一些自己的理解和细节。 1.为什么要有引用计数器 Nett...

2015-08-26 09:42:03 258

原创 Mybatis 的Log4j日志输出问题 - 以及有关日志的所有问题

使用Mybatis的时候，有些时候能输出（主要是指sql，参数，结果）日志。有些时候就不能。无法输出日志的时候，无论怎么配置log4j，不管是properties的还是xml的，都不起作用。有些时候，我们没做什么配置就能输出日志.... 这是一个让无数人烦躁的问题。其实解决问题很容易（我过了这么久才解决，以前都用拦截器输出）。这是一个普大喜奔的日子，让我们...

2015-08-26 09:41:46 97

原创 MongoDB学习笔记(索引)

一、索引基础： MongoDB的索引几乎与传统的关系型数据库一模一样，这其中也包括一些基本的优化技巧。下面是创建索引的命令： > db.test.ensureIndex({"username":1}) 可以通过下面的名称查看索引是否已经成功建立： > db.test.getIndexes() 删除索引的命令是： > db.test.drop...

2015-08-26 09:41:04 69

原创 MongoDB学习笔记(查询)

1. 基本查询：构造查询数据。 > db.test.findOne() { "_id" : ObjectId("4fd58ecbb9ac507e96276f1a"), "name" : "stephen", "age" : 35, "genda" : "male",

2015-08-25 21:35:54 135

原创 com.alibaba.fastjson.JSONException: unclosed string

com.alibaba.fastjson.JSONException: unclosed string fastjson 1.1.36 将对象转换为字符串，然后字符串转换成对象报这个异常。原因：这个版本有些特殊字符fastjson没编码好，没转义好。所以导致字符串转对象报异常。解决办法，将版本升级。...

2015-08-25 15:30:17 1224

原创 mongodb基础系列——java操作mongodb实现CURD

mongodb支持多种语言，并且提供了多种语言的驱动。 java操作mongodb实现CURD：前提：下载相应的驱动：官网上下载：http://central.maven.org/maven2/org/mongodb/mongo-java-driver/ 本人使用mongo-2.10.1.jar版本：下面有详细代码的，每个方法可以单独执...

2015-08-25 11:36:51 125

原创 gson JsonParser

//两个 \\ String json = "{\"name\":\"ab\\\\n86cde\"}"; User user = new Gson().fromJson(json, User.class); //解码后变为一个 \ System.out.println(user.name); json = new Gson().toJson(u...

2015-08-25 01:44:16 107

原创避免Gson使用时将一些字符自动转换为Unicode转义字符

{"s":"\u003c"}我只想简单的打印成这样{"s":"<"}解决方案：我只需要 disable HTML escaping.Gson gson = new GsonBuilder().disableHtmlEscaping().create(); String s = "{\"name\":\"<\"} ";

2015-08-25 00:10:24 272

原创利用StringEscapeUtils对字符串进行各种转义与反转义（Java）

apache工具包common-lang中有一个很有用的处理字符串的工具类，其中之一就是StringEscapeUtils,这个工具类是在2.3版本以上加上的去的，利用它能很方便的进行html,xml,java等的转义与反转义，而且还能对关键字符串进行处理预防SQL注入，不过好像common-lang3.0以后我看着好像没这个处理SQL语句的方法了，想用的话前提时引入对应的jar包，以下为它...

2015-08-24 22:09:49 154

原创 json 转义字符

package json;public class User { public String name;} package json;import jodd.io.FileUtil;import com.alibaba.fastjson.JSON;import com.google.gson.Gson;public class...

2015-08-24 21:29:39 1592

原创 Lucene评分源码调研

1. 公式详解：coord(q , d)：queryNorm(q)：tf(t in d)：idf(t)：norm(t, d)：2. 公式原理推导：Lucene Scoring 评分公式： score(q,d) = coord(q,d) · queryNorm(q) · ∑ ( tf(t in d) · idf(t)2 ·...

2015-08-24 11:12:40 94

原创 MongoDB shell操作

shell命令操作语法和JavaScript很类似，其实控制台底层的查询语句都是用JavaScript脚本完成操作的。使用shell 命令，需要启动mongo.exe。常用shell命令如下： 1、查询本地所有数据库名称 > show dbs; 2、切换至指定数据库环境（若无指定的数据...

2015-08-24 11:11:19 123

原创 Lucene的FuzzyQuery中用到的Levenshtein Distance(LD)算法

主题:Levenshtein Distance(LD);相关介绍：Levenshtein distance是由俄国科学家Vladimir Levenshtein在1965年设计并以他的名字命名的。如果不能拼写或发Levenshtein音，通常可以称它edit distance（编辑距离）；用途：该算法用于判断两个字符串的距离，或者叫模糊度。个人理解就是差异程度。而差异的标准就是1）加一...

2015-08-23 18:21:16 138

servlet购物车

javascript通讯录

jsp.通讯录管理系统

空空如也