- 博客(32)
- 收藏
- 关注
RSS订阅原创 vim替换
VIM中常用的替换模式总结。1，简单替换表达式替换命令可以在全文中用一个单词替换另一个单词：:%s/four/4/g“%” 范围前缀表示在所有行中执行替换。最后的 “g” 标记表示替换行中的所有匹配点。如果仅仅对当前行进行操作，那么只要去掉%即可 如果你有一个象 “thirtyfour” 这样的单词，上面的命令会出错。这种情况下，这个单词会被替换成”t...
2012-10-31 13:27:16
184
原创 zookeeper cluster setup
1 下载zookeeper, 我用了之前的稳定版本3.3.6可参考安装:http://zookeeper.apache.org/doc/trunk/zookeeperStarted.htmlhttp://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_maintenance2 解压安装, 如果是cluster安装,...
2012-10-29 16:42:33
148
原创 maven学习
mvn archetype:create -DgroupId=* -DartifactId=* -DpackageName=* 可以使用archetype插件来构建一个非常简单的java项目.create是archetype插件的目标.插件和目标mvn help:effective-pom 可以查看最顶层的pom文件, pom (project object model)...
2012-10-26 16:05:16
100
原创 maven plugin assembly
使用 Maven Assembly 插件的预定义装配描述符生成一个可分发的 JAR 文件的过 程,该文件包含了项目的二进制文件和所有的依赖。Maven Assembly 插件是一个用来创建你应用程序特有分发包的插件。 你可以使用 Maven Assembly 插件以你希望的任何形式来装配输出,只需定义一个自定义的 装配描述符。 后面的章节我们会说明如何创建一个自定义装配描述符,为 Simp...
2012-10-25 21:52:18
118
原创 hadoop log
1 user log (用户程序中的log信息, 用log4j实现的) : $HADOOP_HOME/logs/userlogs/$JOB_ID/attempt_*/syslog2 在$HADOOP_HOME/logs目录下:hadoop-$user-datanode-$hostname.log在$hostname这台机器上启动datanode进程的时候的日志输出, 由lo...
2012-10-25 15:37:37
140
原创 top
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。top - 01:06:48 up 1:22, 1 user, load average: 0.06, 0.60, 0.48Tasks: 29 total, 1 running, 28 sleeping, 0 stopped, ...
2012-10-18 15:27:09
95
原创 free
下面是free的运行结果，一共有4行。为了方便说明，我们加上了列号。这样可以把free的输出看成一个二维数组FO(Free Output)。例如： FO[2][1] = 999212 FO[3][2] = 305404 1 2 ...
2012-10-18 15:13:29
83
senseidb中对zoie的整合
com.senseidb.conf.SenseiServerBuilder.buildCore()方法中开始对zoie进行实例化：1 构建ZoieConfig实例：ZoieConfig会设置Analyzer, Similarity实例，这些基本的lucene对象可以在sensei配置文件中自定义。设置batchSize, batchDelay, maxBatthSize, rtInde...
2012-10-11 21:20:33
87
原创 zoie初窥手记
zoie是linkedIn开发的基于lucene的搜索组件，主要目的是支持近实时搜索，虽然后续的lucene也提供了近实时搜索的功能，但是相比来说，zoie还是具备一些优势的。senseidb的索引管理，近实时搜索等服务都是基于zoie的。通过阅读senseidb的源代码，可以理解senseidb和zoie的一些整合。zoie系统的核心概念：ZoieSystem - 既实现了D...
2012-10-11 17:50:06
82
原创 mysql主键int和bigint类型的区别
有符号int最大可以支持到约22亿，远远大于我们的需求和MySQL单表所能支持的性能上限。对于OLTP应用来说，单表的规模一般要保持在千万级别，不会达到22亿上限。如果要加大预留量，可以把主键改为改为无符号int，上限为42亿，这个预留量已经是非常的充足了。使用bigint，会占用更大的磁盘和内存空间，内存空间毕竟有限，无效的占用会导致更多的数据换入换出，额外增加了IO的压力，对性能是不利的。...
2012-10-10 13:07:34
3966
1
原创 rabbitMQ
[url]http://www.rabbitmq.com/getstarted.html[/url]rabbitMQ是遵循AMQP协议实现的消息服务，核心概念producer - 消息生产者exchange - rabbitMQ服务端的信箱，负责接受从producer发送来的消息queue - 消息队列，同样在rabbitMQ服务端。exchange会把消息分发给queue。co...
2012-10-09 21:41:09
81
今天发现rabbitMQ消息堆积
发现有三十多万的消息堆积在10的queue里没有被消费[img]http://dl.iteye.com/upload/attachment/0074/7639/520cf10c-89f8-3b86-93ee-6f1033ab654c.png[/img]记录一下查看问题的步骤：1 jps 找出程序的PID2 jstack ${PID}查看线程dump，发现rabbit...
2012-10-09 20:36:00
2018
原创 jstack
Java 的线程线程是指能独立于程序的其它部分运行的执行单元。 JAVA语言能够很好的实现多线程的程序。我们在调试程序，或者在开发后期需要做性能调优的时候，往往也需要了解当前程序正在运行的线程的状态，正在执行的操作，从而分析系统可能存在的问题。在阅读本文之间，应对 Java线程的编程原理，同步机制有一定了解 .产生 JAVA线程 dumpJAVA 的线程 DUMP，...
2012-10-09 17:01:56
87
原创 java内存管理
程序出现指针悬挂或者内存泄露问题的时候，使用jmap(jdk自带的工具去查看问题)，并参考这篇文章进行处理，还是要在实际问题中应该啊，这里tag一下！内存管理简介内存管理的职责为分配内存，回收内存。没有自动内存管理的语言/平台容易发生错误。典型的问题包括悬挂指针问题，一个指针引用了一个已经被回收的内存地址，导致程序的运行完全不可知。另一个典型问题为内存泄露，内存已经分配，但...
2012-09-19 13:33:28
60
原创 java堆栈
java的堆和栈都是用来在RAM中存放数据的地方,RAM - random access memoryjava的栈(stack)一般都是用来存储原始数据类型的，因为这些类型的值大小和生命周期是可知的，栈的读取速度都比较快。栈的特点是任何字面值实际都只存一份，然后可以有不同的引用来指向它。java的堆(heap)比栈要慢，是用来存取类对象的。理解JVM的内存分配和GC主要应该...
2012-09-19 13:33:19
68
vim初解
:set cursorline:set nocursorline:colorscheme desert / darkblue / evening:set background=light / dark:set nu:set nonu:set filetype 如果 filetype= 就要手动设置filetype的类型:set filetype=java:synt...
2012-09-19 13:32:54
89
原创 忽略不想被版本控制的文件
有时候有些文件，真他妈的烦，不断被提醒还没有被版本控制，该怎么办？svn版本控制的目录有一个属性，svn:ignore。它的值是以行分割的文件名或者是目录名。当使用svn add,svn import或者svn status的时候，svn回去检查每个目录的这个属性，把属性中定义的文件和目录忽略掉，是不是很爽？可以使用命令修改这个属性：svn propset svn:igno...
2012-09-18 15:12:21
123
原创 svn 简单使用
[quote]http://www.subversion.org.cn/svnbook/1.4/index.html[/quote]参考了官方的1.4版本说明：查看版本svnversion --version版本控制系统一般使用 锁定-修改-解锁 和 拷贝-修改-合并 两种做法，svn采用了第二种做法，但是还是提供了第一种做法的特性。重点是理解这两种模型的思路。sv...
2012-09-18 14:37:42
72
原创 maven常用插件
[code="java"] org.apache.maven.plugins maven-compiler-plugin 1.6 1.6 true true UTF-8 ${project.basedir}/src ...
2012-09-18 12:28:16
78
原创 git on mac && github
1 下载安装文件：我安装了1.7.11.3版本[url]http://code.google.com/p/git-osx-installer/[/url]2 安装3 登陆www.github.com, 注册，把本地的ssh id_rsa.pub内容上传到自己的githubAccount settings->SSH Keys4 在本地测试是否配置成功ssh -T...
2012-09-13 10:57:24
74
原创 eclipse4.2 juno
http://download.eclipse.org/eclipse/downloads/drops4/R-4.2-201206081400/news/eclipse-news-part2.htmltag有许多新特性，值得一用
2012-09-12 13:46:51
422
原创 sensei indexing via hadoop
构建索引一般是比较费时费力的过程，如果能通过hadoop分布式构建索引就方便了很多。基于sensei的索引都是分shard的，通过sensei提供的工具类，可以在hadoop集群中分shard构建索引，下面简单介绍一下，因为没有文档，只是简单过了一下source code:1 定义properties文件，定义配置选项PropertiesLoader可以生成配置文件类Configu...
2012-09-11 20:27:08
78
原创 FS shell
概览一下file system shell command:$HADOOP_HOME/bin/hadoop fstest [-ezd] : 检查啊e = existz = zerod = directory查看目录类：ls lsr :相当入recursive ls 不要用，巨烦du ：看一下这个目录下的 各个子目录大小dus :看看这个目录大小c...
2012-09-10 20:39:29
83
原创 编译打包
不常用就他妈经常忘，再次tag一下：1 编译java类javac -classpath jarname1:jarname2:jarname3 -d outputDir workspace/*.java指定classpath 把class文件输出到outputDir2 打包jar -cvfm myJarPackageName.jar manifest.mf -C outp...
2012-09-05 21:26:38
73
原创 hadoop framework
[url]http://hadoop.apache.org/common/docs/r1.0.3/mapred_tutorial.html[/url][b]mapper[/b]mapper的任务就是把key-value pair转换成key-value pair，作为reducer的输入。MapReduce framework会为每个InputSplit都分配一个mapper线程，完全...
2012-09-05 17:30:49
78
原创 sensei gateway
sense通过事件的形式来增加，或删除其管理的索引（下版本更能会支持部分更新）Gateway是senseidb和data event stream的中间层组件。data event(add or delete):[code="java"]{"type":"add","data":{"id":1,"contents":"sensei is cool",
2012-09-05 13:08:40
63
原创 sensei cluster
[url]http://senseidb.github.com/sensei/cluster.html[/url][img]http://senseidb.github.com/sensei/images/index-sharding.png[/img]sensei中在node上层有一个broker的概念，会拦截data-event和query request.每个broker都会...
2012-09-05 11:14:51
70
sensei1.5 installation
用了一段时间的lucene,总体感觉轻便，灵活，但是还是面临一些问题：1 lucene3.0的index optimize有些问题，当optimize的时候会阻塞查询，更新2 虽然支持near real time search,但是要自己管理，稍显麻烦3 对于大并发量，频繁更新的应用，必然会存在些性能上的问题介于宝秋刚来公司，正好熟悉一下sensei1 download s...
2012-09-05 00:47:58
73
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人