2009年11月_xyz2011

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创完美解决tomcat内存溢出问题

tomcat是目前应用十分广泛的一个Java servlet container与web服务器，反正5年来我是从4.0.6一直用到5.5.9，期间也出现过几次崩溃抛出类似hs_err_pid31199.log的log，不过绝大部分时间是运行平稳的。但java.lang.OutOfMemoryError的异常相信真正用过tomcat的人都遇到过，抛开程序问题不谈（使用Borland的optimi...

2009-11-25 15:30:29 813

原创 JVM内存分析及导致内存溢出的不健壮代码及解决办法

一、JVM内存区域组成 java把内存分四种： 1、栈区（stack segment）— 由编译器自动分配释放,存放函数的参数值，局部变量的值等，具体方法执行结束之后，系统自动释放内存资源 2、堆区（heap segment） — 一般由程序员分配释放，存放由new创建的对象和数组，jvm不定时查看这个对象，如果没有引用指向这个对象就回收 3、静态区（data segm...

2009-11-25 15:29:18 147

nutch如何才能抓取到动态的url

http://www.tianya.cn/new/TianyaCity/content.asp?idItem=296&idArticle=53561&idWriter=0&key=0在运行的时候不会抓取到，分析了一下原因：主要在conf/crawl-urlfilter.txt. 分析：使用nutch默认的配置过滤文件的话，是不抓取到包含?*!@=等字符的URL...

2009-11-25 15:27:23 139

配置完成nutch容易出现的错误

1.1.2 运行crawl报错Job failedException in thread "main" java.io.IOException: Job failed! at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:604) at org.apache.nutch.indexer....

2009-11-25 11:50:46 149

在eclipse中如何配置nutch1.0

<1>: 首先从http://apache.etoak.com/lucene/nutch/ 下载最新的nutch.在这里我使用的是nutch1.0.<2>: 在eclipse中新建立一个Java Project. 名字自己定义(Nutch). 选择"Create project from existing source"，指向自己nutch-1.0的目录.<...

2009-11-25 11:44:38 138

nutch的基本工作流程理解

（一）：Nutch的工作流程：Crawdb、linkdb是web link目录，存放url及url的互联关系，作为爬行与重新爬行的依据。segments是主目录，存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行，因此每爬完一轮会生成一个segment目录。index是lucen...

2009-11-21 00:17:20 143

原创 cygwin配置说明

开始，一步一步来：了解Cygwin的人都知道，就是到 : http://www.cygwin.com 中先下载一个安装向导文件setup.exe，这个是Cygwin的官方下载安装向导文件，而且也只能通过它才能正确下载最新的Cygwin版本。setup.exe下载完毕，双击运行，程序安装向导界面：上图，点击“下一步” 继续，准备选择Cygwin的安装方式。上图所示，一共有三种...

2009-11-21 00:15:49 101

第一次使用nutch

Nutch 是一个基于Lucene开发的诞生不久的开放源代码(open-source)的web搜索引擎. 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然不利于广大Internet用户. Nutch为我们提供了这样一个不同的选择. 相对于那些商用的搜索引擎, ...

2009-11-19 23:13:40 83

原创正则基础之——\b 单词边界

1 概述“\b”匹配单词边界，不匹配任何字符。“\b”匹配的只是一个位置，这个位置的一侧是构成单词的字符，另一侧为非单词字符、字符串的开始或结束位置。“\b”是零宽度的。基本上所有的资料里都会说“\b”是单词边界，但是关于“单词”的范围却是少有提及。通常情况下，正则表达式中所谓的“单词”，就是由“\w”所定义的字符所组成的子串。“\b”表示所在位置的一侧为单词字符，另一侧...

2009-11-11 22:21:23 183

原创正则表达式学习

1 概述正则表达式(Regular Expression)是一种匹配模式，描述的是一串文本的特征。正如自然语言中“高大”、“坚固”等词语抽象出来描述事物特征一样，正则表达式就是字符的高度抽象，用来描述字符串的特征。正则表达式（以下简称正则，Regex）通常不独立存在，各种编程语言和工具作为宿主语言提供对正则的...

2009-11-11 09:48:10 98

如何去掉ubuntu发出的"嘟嘟"声音。

1.在ubuntu的System(系统)菜单下，选择Preference(首选项)，选择Sound(音效)，弹出的Sound perference中选择Sound页面，去掉Play alert sound前面的勾即可。这是我使用的方法，再结合网友的一些方法，总结一下:2.卸载模块在命令行上打入：sudo modprobe -r pcspkr3.修改配置文件编辑/et...

2009-11-07 12:02:04 1104