- 博客(61)
- 收藏
- 关注
RSS订阅mac os x使用brew安装subversion
1.删除老版本svn sudo rm /usr/bin/svn 2.使用brew安装svn (自动安装最新版本)，如果brew不能执行，点击这里 获取套件管理器homebrew，然后再执行 brew install --universal --java subversion 3.如果安装的时候提示需要安装--universal sqlite，自己装过就先删sqlit...
2017-02-28 11:29:35
2544
原创 mac os x套件管理器Homebrew
获取 Homebrew/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 打开终端窗口, 粘贴以上脚本。脚本会解释它的作用，然后在您的确认下执行安装。高级安装选项请看 这里（需要10.5）。 What Doe...
2017-02-28 11:00:42
193
原创 SQL优化—SQL查询效率，100w数据，查询只要1秒
1.关于SQL查询效率，100w数据，查询只要1秒，与您分享:机器情况p4: 2.4内存: 1 Gos: windows 2003数据库: ms sql server 2000目的: 查询性能测试,比较两种查询的性能SQL查询效率 step by step-- setp 1.-- 建表create table t_userinfo(userid int identity(1,1) pri...
2017-01-10 19:59:51
1093
原创 能力成长模型(转自阿里梁飞老师博客)
最近看了温伯格1986年出版的《技术领导之路》， 很老的书，讲的都是一些浅显但容易被忽视的道理， 就像第一章，讲作者自己玩弹子球的水平提升， 时间长了，以为自己的水平提升像下图这样，每年都在逐步提升： 而实际上往往不是，能力的提升过程通常都是“高原-突破”式的， 在高原时期沉淀和思考，在学会新方法后突破， 不善于思考和总结的人，高原期就会特别长，而且人在高原期总会觉得很安逸： ...
2017-01-08 13:21:40
851
原创 java.lang.OutOfMemoryError异常解决方法
java.lang.OutOfMemoryError异常解决方法 原因：常见的有以下几种： 1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据； 2.集合类中有对对象的引用，使用完后未清空，使得JVM不能回收； 3.代码中存在死循环或循环产生过多重复的对象实体； 4.使用的第三方软件中的BUG； 5.启动参数内存值设定的过小；...
2016-11-23 20:32:24
383
原创 各种大型网站技术架构
引言近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此，总结整理了诸如国外wikipedia，Facebook，Yahoo！，Yo...
2016-11-06 20:29:54
112
原创 云计算时代的技术架构与开发模式
云计算时代的技术架构与开发模式DOS时代、Windows时代、Web时代、移动App时代，我们的开发语言、技术架构、调试方法、部署模式、运维模式，都发生着非常大的变化。那么我们来重新想象，云计算时代的技术架构和开发模式应该是什么样子？ 一、从一个普通程序说起 我们常规写程序一般都是这样的构成：1、微软世界：ASP.NET、VB.NET/C#、SQLSERVER2、JA...
2016-11-06 19:44:45
196
原创 Canal AdminGuide
背景 先前开源了一个开源项目： 【阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费】 本文主要是介绍一下如何部署&使用 环境要求1. 操作系统 a. 纯java开发，windows/linux均可支持 b. jdk建议使用1.6.25以上的版本，稳定可靠，目前阿里巴巴使用基本为此版本. 2. my...
2016-08-16 11:15:33
1316
原创 MongoDB实战优化
Mongodb是一个高性能，可扩展数据库，并具有低延迟，高吞吐率的性能。但是使用过程中难免会有所坑，下面将介绍一些优化方案。以下建议翻译自 亚马逊的 《Performance Best Practices for MongoDB 2015》补充是自己在Mongodb实践中的总结 1、Mongodb引擎Mongodb 3.0 支持了2种引擎：A、默认的 MMAPv1 引...
2016-07-12 20:48:08
133
原创 MongoDB线上事故案例分享
转至：https://cnodejs.org/topic/55c97a997a5d91fa63fe9ce7 前几天，公司一个业务部门的 Mongodb 数据库副本集（1主2从）出现写入和更新延迟现象，最慢的一次更新长达22秒，平均的更新和插入操作在15秒左右，上报到我们公共部门，希望能够得到解决。之前业务部门已经对这个 Mongodb 使用了一个多月，一直没出问题...
2016-07-12 20:45:52
213
原创 Dubbo与Zookeeper、SpringMVC整合和使用（负载均衡、容错）
互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，Dubbo是一个分布式服务框架，在这种情况下诞生的。现在核心业务抽取出来，作为独立的服务，使前端应用能更快速和稳定的响应。 第一：介绍Dubbo背景 大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进...
2016-07-08 11:22:51
87
原创 在线工具
JSONLint: http://jsonlint.com简介：可以校验JSON语法，可以格式化JSON字符串，API开发必备。 Git参考手册: http://gitref.org/zh/index.html简介：Git手册，『Pro Git』的极简版本，可以当做Git入门教程用。 Regexper: http://www.regexper.com简介：正则表达式的可视化工具，...
2016-07-06 17:34:08
119
原创 RabbitMq与KafKa比较
如何保证kafka的高容错性？producer不使用批量接口，并采用同步模型持久化消息。consumer不采用批量化，每消费一次就更新offset ActiveMqRabbitMqKafkaproducer容错，是否会丢数据 有ack模型，也有事务模型，保证至少不会丢数据。ack模型可能会有重复消息，事务模型则保证完全一致批量形式下，可能会丢数据。 非...
2016-07-06 17:28:01
162
原创 消息队列的选择：kafka、rabbitmq、zeromq
最近在做一个数据分析相关的工作，需求是将全国各地idc内的流量信息进行汇总和分析最后吐出一些安全策略，由于对时效性的要求比较高，大概每隔几秒就会有一次几十M的的数据需要传递到汇总服务器上去，而且随着业务的发展数据量还会越来越大，所以使用什么手段来做数据的传输就成为了一个关键的问题。首先是可扩展性，如果使用标准socket进行传递的话随着数据量的扩大单点肯定会成为瓶颈，而且如果可用性要高的话...
2016-07-06 17:19:40
247
原创 消息队列软件产品大比拼
导读：本文是从《Message Queue Shootout!》这篇文章翻译而来，译文来自外刊IT评论《消息队列软件产品大比拼》。内容如下：我花了一周的时间评估比较了一下各种消息队列产品，非常的有趣。我做这个事的动机是因为一个客户有一个很高性能需求。他们的消息信息突破了1百万个并发。目前他们使用的是SQL server，并不理想，我建议他们使用消息队列服务器。为了对一些相似的候选产品...
2016-07-06 17:14:15
107
原创 RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总
MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。 第一部分：RabbitMQ,ActiveMq,ZeroMq比较1、 TPS比较 一ZeroMq 最好，RabbitMq 次之， ActiveMq 最差。测试环境： Mod...
2016-07-06 17:10:01
155
原创 SQL优化—SQL子句执行顺序和Join的一点总结
原文：点击打开链接 1.笛卡尔积(Cartesian product)顾名思义, 这个概念得名于笛卡儿. 在数学中，两个集合 X 和 Y 的笛卡儿积（Cartesian product），又称直积，表示为 X × Y，是其第一个对象是 X 的成员而第二个对象是 Y 的一个成员的所有可能的有序对.假设集合A= {a,b}，集合B={0,1,2}，则两个集合的笛卡尔积为{(a,0),...
2016-06-29 19:36:52
215
原创 细说五层网站架构
目前网站架构一般分为网页缓存层、负载均衡层、Web层、数据库层、文件服务器层。我们可以依次用这五层对网站架构进行讨论，为了增强说服力，我将用如下三个并发较大的生产环境来说明。q 电子商务网站（并发最大峰值2900，日PV500万左右）q 电子广告网站（并发最大峰值1500，日PV150万左右）q 大型CDN门户广告网站（并发最大峰值5000，日PV5000万左右）...
2016-06-28 16:15:41
138
原创 mongodb_查询器（$in/$lt/$lte/$gt/$gte/$ne/......)
mongodb条件操作符，"$lt", "$lte", "$gt", "$gte", "$ne"就是全部的比较操作符，对应于"<", "<=", ">", ">=","!="。原子操作符："$and“, "$or“, "
2016-06-21 17:25:04
3737
原创 HttpSessionAttributeListener
package com.tocersoft.base.filter;import java.util.ArrayList;import java.util.List;import javax.servlet.http.HttpSessionAttributeListener;import javax.servlet.http.HttpSessionBindingEvent;...
2016-05-25 14:01:19
144
原创 mongodb_修改器（$inc/$set/$unset/$push/$pop/upsert......)
对于文档的更新除替换外，针对某个或多个文档只需要部分更新可使用原子的更新修改器，能够高效的进行文档更新。更新修改器是中特殊的键， 用来指定复杂的操作，比如增加、删除或者调整键，还可能是操作数组或者内嵌文档。 1.$inc -------------------------------------------------------------------------- 这个修改器干什么使...
2016-05-25 11:42:00
132
原创 HttpSessionListener
Session创建事件发生在每次一个新的session创建的时候，类似地Session失效事件发生在每次一个Session失效的时候。 这个接口也只包含两个方法，分别对应于Session的创建和失效： # public void sessionCreated(HttpSessionEvent se); # public void sessionDestroyed(HttpSessionEve...
2016-05-25 11:15:50
119
原创 Solr query检索词特殊字符的处理
solr是基于 lucence开发的应用，如果query中带有非法字符串，结果很可能是检索出所有内容或者直接报错，所以你对用户的输入必须要先做处理。输入星号，能够检索出所有内容；输入加号，则会报错。官方的处理办法（Java，因为solr是java开发的）： https://svn.apache.org/repos/asf/lucene/dev/trunk/solr/solrj...
2016-05-19 20:05:00
1119
Log4j自定义Appender(二)
自定义Appender实际应用 场景一：利用log4j MongoDB插件 向 MongoDB数据库写入数据 1.项目引入 jar 包：spring-data-mongodb-log4j:1.8.0，及 log4j 1.2以上jar包2.log4j.properties 配置 log4j.rootLogger=INFO, stdoutlog4j.a...
2016-03-24 14:56:41
342
原创 Log4j自定义Appender(一)
最初想要在执行一段业务逻辑的时候调用一个外部接口记录审计信息，一直找不到一个比较优雅的方式，经过讨论觉得log4j自定义的appender或许可以实现此功能。后来就了解了一下log4j的这部分。 Apache Log4j 架构 Apache Log4j是当前在J2EE和J2SE开发中用得最多的日志框架（几乎所有项目都用它），因为它具有出色的性能、灵活的配置以及丰富的功...
2016-03-24 14:17:51
710
原创 深入Log4J源码之LoggerRepository和Configurator
LoggerRepository从字面上理解，它是一个Logger的容器，它会创建并缓存Logger实例，从而具有相同名字的Logger实例不会多次创建，以提高性能。它的这种特性有点类似Spring的IOC概念。Log4J支持两种配置文件：properties文件和xml文件。Configurator解析配置文件，并将解析后的信息添加到LoggerRepository中。LogManager最终...
2016-03-24 14:13:15
437
原创 Log4j配置介绍
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。 Log4j配置介绍 1. 配置文件 Log4J配置文件的基本格式如下： #配置根Loggerlog4j.rootLogger = [ level...
2016-03-24 13:55:21
127
原创 Solr查询语法
一.基本查询 q – 查询字符串，必须的。fl – 指定返回那些字段内容，用逗号或空格分隔多个。start – 返回第一条记录在完整找到结果中的偏移位置，0开始，一般分页用。rows – 指定返回结果最多有多少条记录，配合start来实现分页。sort – 排序，格式：sort=<field name>+<desc|asc>[,<field name>...
2016-03-15 20:01:42
130
原创 maven公共仓库
1、maven包查询： http://mvnrepository.com/ 2、maven公共仓库 ： http://mirrors.ibiblio.org/pub/mirrors/maven2/ http://gradle.artifactoryonline.com/gradle/libs http://gradle.artifactoryonline.com/...
2016-01-08 15:56:11
83
原创 Lucene学习-深入Lucene分词器,TokenStream获取分词详细信息
Lucene学习-深入Lucene分词器,TokenStream获取分词详细信息在此回复牛妞的关于程序中分词器的问题,其实可以直接很简单的在词库中配置就好了,Lucene中分词的所有信息我们都可以从TokenStream流中获取.分词器的核心类Analyzer,TokenStream,Tokenizer,TokenFilter.AnalyzerLucene中的分词器有Stand...
2015-10-27 15:31:39
253
原创 spellcheck
相关搜索是检索功能的一个扩展，用来告诉用户自己输入查询词的情况。如果输入错了，可能会纠错提示用户：“想找的是不是”; 或者又叫拼写检查 。另外还会在显著位置提供与输入查询词相关的其他查询词，例如百度结果页下面的提示， 而对于电商网站这两个功能会合在一起，下面分别说说我对这两个任务的理解。 一、纠错功能，英文叫做spellcheck，在英文上做纠错...
2015-07-14 19:11:48
1068
原创 程序员真正的价值
今天在网上看到了一篇写的很不错的文章，在这里做下记载。 问：池老师，我是个不爱互动的人，但是您所有的文章我都看了，非常感谢您的引导，我入手了人生第一台 MBP。现在问题来了，但是找不到更合适的人解答，只能求助于您了，如果您有时间的话。问题是这样的：我有个32bit unix file（开启一个服务进程），在 Mac 上执行时错误提示是：exec format error，但是在 Lin...
2014-11-13 09:41:35
93
原创 Solr多核心及分词器（IK）配置
Solr多核心及分词器（IK）配置多核心的概念 多核心说白了就是多索引库。也可以理解为多个"数据库表" 说一下使用multicore的真实场景，比若说，产品搜索和会员信息搜索，不使 用多核也没问题，这样带来的问题是 indexs文件很多，而且产品的索引文件和会员信息的索引文件混在一起，备份也是个问题。 如果使用了多核，那就很轻松了，产品和会员就可使用不同的URL进行提交了，业务上也很...
2014-11-05 18:15:31
123
原创 MySQL错误一（Access denied for user 'root'@'localhost' (using password: YES) ）
Access denied for user 'root'@'localhost' (using password:YES)解决办法：重新设置root用户密码，在Windows平台下操作步骤如下 1、以系统管理员身份登录到系统； 2、如果MySQL服务器正在运行，停止它 命令停止操作： cmd 里 net stop mysql 或者 开始-运行 输入serv...
2014-11-05 17:33:02
122
原创 DesUtils
import java.security.Key;import java.security.Security;import javax.crypto.Cipher;public class DesUtil { /** 字符串默认键值 */ private static String strDefaultKey = "national"; /** 加密工具 */...
2014-10-31 15:19:06
430
memcached在java中的运用
服务端使用的 memcached 版本为 memcached-1.4.20，libevent 版本为 libevent-2.0.21-stable安装方法见 ：http://lucien-zzy.iteye.com/blog/2112490 一、概念Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减...
2014-09-03 17:22:05
106
原创 Linux上安装Memcached服务
下载并安装Memcache服务器端服务器端主要是安装memcache服务器端.下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libevent，libevent的最新版本是libevent-1.3。（如果你的系统已经安装了libeven...
2014-09-03 16:43:21
69
原创 全文检索的基本原理
一、总论根据http://lucene.apache.org/java/docs/index.html定义：Lucene是一个高效的，基于Java的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。那么什么叫做全文检索呢？这要从我们生活中的数据说起。我们生活中的数据总体分为两种：结构化数据和非结构化数据。结构化数据：指具有固定格式或有限长度的数据，如...
2014-08-31 23:30:31
72
线程简单运用（二）
线程的简单运用（二）Java5之前使用线程 是实现Runnable接口，没有返回值。现在可以实现Callable接口，实现有返回值的线程。以下是使用实例:业务代码：import java.util.concurrent.Callable;public class MyCallable implements Callable{ private String...
2014-07-09 18:40:21
87
原创 系统全面的认识Solr
系统全面的认识Solr文章包括：组件关系，简单搭建，solr目录结构，solr源码分析，Solr性能参数，链接数据库导数据，Solrj操作索引，自动补齐，解析核心配置文件solrconfig.xml，schema.xml等。其中还包含来自其他博客的优秀资源。 Solr 是什么？ Solr 是一个开源的企业级搜索服务器，底层使用易于扩展和修改的 Java 来实现。...
2014-07-09 10:18:58
329
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人