- 博客(87)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 JVM学习索引页
jvm（java虚拟机）原理内存管理：以下下三篇侧重于内存的管理java虚拟机内存管理机制（一）：JVM内存管理总结【分享】java虚拟机内存管理机制（二）：了解JVM的内存管理与垃圾回收java虚拟机内存管理机制（三）：我主管写的一些jvm内存管理知识 以下文章侧重与应用Java虚拟机（JVM）中的内存设置详解 讲解如何设置参数以便使用最大限度地提高程序运行效率Java虚拟机支持的最大内存限制 主要讲解现在主要jdk的内存限制
2010-11-30 11:26:00
1911
原创 本博客中中文分词索引页
中文分词系统理论：搜索引擎技术揭密：中文分词技术 这篇文章概念讲得比较清晰搜索引擎之中文分词(Chinese Word Segmentation)简介中文自动分词 ——摘自《搜索引擎 ——原理技术与系统》 摘自一本书，算法思想讲得不错话说搜索引擎分词浙大一位同学的中文分词算法现有搜索引擎的分析：百度的分词算法现有的一些技术：几个免费的中文分词模块【转】开源中文分词软件分析java语言的开源工具：http://open-open.com/74.htm ICTCLAS 计算所汉语词法分析系统主页：http
2010-11-05 17:45:00
3301
转载 Java虚拟机（JVM）中的内存设置详解
<br />在一些规模稍大的应用中，Java虚拟机（JVM）的内存设置尤为重要，想在项目中取得好的效率，GC（垃圾回收）的设置是第一步。<br /> <br /> PermGen space：全称是PermanentGenerationspace.就是说是永久保存的区域,用于存放Class和Meta信息,Class在被Load的时候被放入该区域Heapspace：存放Instance。<br /> GC(GarbageCollection)应该不会对PermGenspace进行清理,所以如果你的AP
2010-11-30 11:16:00
1994
转载 Java虚拟机支持的最大内存限制
最近在开发Java的程序。本来我是一直很喜欢Java的内存管理的，不需要担心分配内存，只管分配，垃圾收集器自己会给你回收内存的。现在开发的程序数据量很大，为了速度快，我准备把所有的信息加载进内存，这样可以保证快速响应。我还在反复算内存，想想自己的数据量，现在刚开始的时候应该够了（我的机器是4G内存，虽然Windows就认3.5G，但是比起我现在的数据量应该没问题）。 没想到第一个实验的程序，跑了几个小时，就遇到了Out of Memory Exception了。看看自己的虚拟机设置，我设置的是-Xms
2010-11-30 10:55:00
10786
1
转载 每位开发人员都应铭记的10句编程谚语
<br /><br />ASP.NET开发者Kevin Pang 曾发表一篇博文《10 Programming Proverbs Every Developer Should Know》，文中列举了版主认为开发者应该铭记的10条编程谚语。《职场博客——伯乐在线》对本文进行了翻译，现把译文转载于此。全文如下：<br />所谓谚语，就是用言简意赅、通俗易懂的方式传达人生箴言和普遍真理的话，它们能很好地帮助你处理生活和工作上的事情。也正因如此，我才整理了10句编程谚语，每位开发人员都应该铭记他们，武装自己。<br
2010-11-29 12:00:00
1028
转载 【多图】Google工程师解析Android系统架构
<br /><br />导读：Sans Serif是Google的一位工程师，近日发布了一篇博文非常清楚的描述了Android系统架构，中国移动通信研究院院长黄晓庆在新浪微博上推荐了该文，并认为文中对Android的介绍很好，如下是CSDN对文章的简单编译：<br />Andriod是什么？<br />首先，就像Android开源和兼容性技术负责人Dan Morrill在Android开发手册兼容性部分所解释的，“Android并不是传统的Linux风格的一个规范或分发版本，也不是一系列可重用的组件集成，A
2010-11-28 12:27:00
864
原创 IKAnalyzer中文分词分析内容目录
<br />IKAnalyzer中文分词的学习：Java开源分词系统IKAnalyzer学习（一） 大致简介Java开源分词系统IKAnalyzer学习（二） 架构Java开源分词系统IKAnalyzer学习（三） 流程Java开源分词系统IKAnalyzer学习（四） 词库加载源代码——Dictionary类Java开源分词系统IKAnalyzer学习（五） 词库加载源代码——DictSegmenty类Java开源分词系统IKAnalyzer学习（六） 词库加载源代码——Hit类Java开源分词系统IKA
2010-11-25 15:35:00
4331
转载 慢慢琢磨JVM
1 JVM简介JVM是我们Javaer的最基本功底了，刚开始学Java的时候，一般都是从“Hello World”开始的，然后会写个复杂点class，然后再找一些开源框架，比如Spring，Hibernate等等，再然后就开发企业级的应用，比如网站、企业内部应用、实时交易系统等等，直到某一天突然发现做的系统咋就这么慢呢，而且时不时还来个内存溢出什么的，今天是交易系统报了StackOverflowError，明天是网站系统报了个OutOfMemoryError，这种错误又很难重现，只有分析Javacore和d
2010-11-25 15:24:00
988
转载 ME, HMM, MEMM, CRF
<br />最大熵模型 Maximum Entropy<br />现从一个简单例子看起：<br />比如华盛顿和维吉利亚都可以作人名和地名，而从语料中只知道p(人名)＝0.6，那么p(华盛顿＝人名)的概率为多少比较好呢？一个直观的想法就是p(华盛顿=人名)=0.3。为什么呢？这就是在满足已有证据的情况下不做任何其他假设，也就是熵最大，这就是最大熵模型的原理。<br />现在来看模型的定义：<br />首先，明确模型的目标：给定一个上下文x，估计p(y|x)<br />接着，从训练样本中我们可以得到一串标注过
2010-11-24 13:46:00
1598
转载 隐马尔科夫模型HMM自学 （三）
<br /><br />找到可能性最大的隐含状态序列<br />崔晓源 翻译<br />多数情况下，我们都希望能够根据一个给定的HMM模型，根据观察状态序列找到产生这一序列的潜在的隐含状态序列。<br />1、穷举搜索方法<br /> <br />我们可以通过穷举的方式列出所有可能隐含状态序列，并算出每一种隐状态序列组合对应的观察状态序列的概率。概率最大的那个组合对应的就是最可能的隐状态序列组合。<br />Pr(observed sequence | hidden state combination).<
2010-11-24 11:01:00
1807
转载 隐马尔科夫模型HMM自学（一）
<br /><br />网上找到的一篇非常不错的介绍隐马尔科夫模型<br />介绍<br />崔晓源 翻译<br />我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律，比如计算机中的指令顺序，句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。<br />首先，本文会介绍声称概率模式的系统，用来预测天气的变化<br />然后，我们会分析这样一个系统，我们希望预测的状态是隐藏在表象之后的，并不是我们观察到的现象。比如，我们会根据观察到的植物海藻的表象来预测天气
2010-11-24 10:31:00
2847
转载 平板之战
<br /><br />苹果已经在全球掀起了一场平板风暴，而三星、黑莓、戴尔等各大厂商也在不断发布相关产品以求与苹果进行输死一搏，Vouchercodes.co.uk根据来自3000多个样本的调查数据统计出了最新的战况，让我们一起用信息图表的形式来看看：<br /><br /><br />
2010-11-23 17:18:00
856
转载 基于隐马尔科夫模型的中文分词研究
基于隐马尔科夫模型的中文分词研究 魏晓宁 (南通大学计算机科学与技术学院，江苏南通226019)摘要：一直以来，汉语自动分词是公认的汉语信息处理
2010-11-22 14:41:00
8638
转载 Windows 25周年风雨回顾
<br /><br /><br />北京时间11月21日，Windows迎来它25周岁生日。25年前的今天(即美国时间1985年11月20日)，微软推出了Windows 1.0操作系统。从那以后，这款世界最流行的操作系统已更新了诸多版本。目前的消息显示，微软下一代产品Windows 8也将在两年内推出。<br />微软的Windows操作系统发展到现在，已经统治了家用和商务PC市场25年。1985年11月20日，Windows 1.0发布，该系统起初并没有达到微软的期望。当时它并不是一款完全的操作系统，只不
2010-11-22 13:52:00
724
转载 最大熵模型
<br /><br /> 最大熵模型：读书笔记<br /> 胡江堂，北京大学软件学院<br />1. 物理学的熵<br />2. 信息论的熵<br />3. 熵和主观概率（一个简单注释<br />4. 熵的性质<br />4.1. 当所有概率相等时，熵取得最大值<b
2010-11-22 13:50:00
2397
转载 最大熵模型文献阅读指南
<br /><br />最大熵模型（Maximum Entropy Model）是一种机器学习方法，在自然语言处理的许多领域（如词性标注、中文分词、句子边界识别、浅层句法分析及文本分类等）都有比较好的应用效果。张乐博士的最大熵模型工具包manual里有“Further Reading”，写得不错，就放到这里作为最大熵模型文献阅读指南了。<br /> 与《统计机器翻译文献阅读指南》不同，由于自己也正在努力学习Maximum Entropy Model中，没啥发言权，就不多说废话了。这些文献在Google上很
2010-11-22 11:35:00
2050
转载 中文分词和搜索引擎
<br /><br />作者：Winter 工程师<br />搜索引擎，上网的人基本上都不陌生了，CNNIC的第17次《互联网调查报告》显示，使用搜索引擎服务的网民，仅次于电子邮件。中文分词，估计了解的人并不多，毕竟太技术，太底层。但中文分词是中文搜索引擎系统中非常重要的模块，这里之所以强调是中文搜索引擎，是针对英文搜索引擎来讲，因为对于英文来说，空格代表词和词之间的分隔，也就不存在分词问题。和中文搜索引擎类似还有日文、韩文、泰文搜索引擎等，都需要处理分词问题。<br />为什么需要中文分词<br />目前
2010-11-22 11:18:00
3298
转载 【转】互联网周刊：阿里巴巴的江湖
<br /><br />无论功过，阿里巴巴终将被载入互联网史册，以一个符号的姿态，记录这个光荣和残酷同在、伟大与垄断并行的梦幻时代。<br />本刊记者 别坤<br />谈及阿里巴巴成立的1999年，恍若昨日，倏尔风雨已十一载。<br />从刀光剑影和觥筹交错中一路走来的阿里巴巴，已经由一个启动资金只有50万的B2B网站变身年交易额近4000亿元的电商帝国，成为撬动网络经济的一大杠杆。在电商这个江湖，阿里巴巴的一举一动都有可能改变成千上万家中小企业的命运，并且深刻地影响中国电子商务的进程。<br />无论功
2010-11-22 09:33:00
2824
转载 淘宝的新长征
<br />英国《金融时报》中文网专栏作家 程苓峰 <br /><br />据称淘宝2009年收入是3亿美金，预计2010年收入6亿，利润2亿。如果将市盈率（PE）定为40倍，淘宝估值80亿美金。确实很可观，其高管团队里应该有不少在等着期权股权套现者。但这目前还是一张“饼”，因为上市还和淘宝无缘。但淘宝为什么一直不上市？ <br /><br />估计有3条原因暂时“盘”住了淘宝，而这3条都是淘宝的“练门”。所谓练，就是陪练，煅炼，磨练，把困难和竞争当作磨刀石。 <br /><br />第一：法律。 <br
2010-11-21 16:51:00
1390
转载 N-gram模型
在介绍N-gram模型之前，让我们先来做个香农游戏（Shannon Game）。我们给定一个词，然后猜测下一个词是什么。当我说“艳照门”这个词时，你想到下一个词是什么呢？我想大家很有可能会想到“陈冠希”，基本上不会有人会想到“陈志杰”吧。N-gram模型的主要思想就是这样的。 对于一个句子T，我们怎么算它出现的概率呢？假设T是由词序列W1,W2,W3,…Wn组成的，那么P(T)=P(W1W2W3Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1) 但是这种
2010-11-19 17:26:00
47796
7
转载 【转】基于统计的词网格分词
<br /> <br /> <br /> 词网格分词方法是基于统计的方法，它具有比较高的分词正确率，而且可以比较容易的进行扩展。可以通过加入相应的统计信息来扩展不同的功能。<br /> 基于词网格分词的第一步是候选词网格构造：利用词典匹配，列举输入句子所有可能的切分词语，并以词网格形式保存。实际上，词网格是一个有向无环图(Directly Acyclic Graph, DAG)，它蕴含了输入句子所有可能的切分，其中的每一条路径代表一种切分。图3-1表示的是字串“中国人民生活”的切分词网格，它
2010-11-19 14:17:00
3920
转载 百度搜索引擎详解
<br /><br />今天无意中读到的，网上转载很多了，不过还是忍不住在转载一番，不过原文就找不到了，读得有点累，但是多少有点启发了，推荐一下。<br />查询处理以及分词技术<br />随 着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为 普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性的搜索引擎作为研究对象。搜索引擎经济的崛起，又一次向 人们证明了网络所蕴藏的巨大商
2010-11-18 16:24:00
3022
转载 自动分词算法的分类
自动分词算法的分类我们可以将现有的分词算法分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。1、 基于字符串匹配的分词方法这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合
2010-11-18 15:18:00
4805
转载 网络三巨头：腾讯，阿里巴巴和百度
<br />毫无疑问腾讯是现今中国最成功的互联网公司。一般把腾讯、阿里巴巴、百度称之为中国互联网公司三巨头，但无论是总营收、股价和总市值，腾讯都把二者远远地甩在后面。2009年，腾讯总营收为124。4亿元，超过中国互联网公司第2-4位的百度（44。5亿元）、阿里巴巴（38。8亿元）、网易（38亿元）三者的总和；腾讯的市值则高达367亿美元，也超过三者的总和：阿里巴巴111亿美元，百度191亿美元，网易52亿美元。 现在腾讯更乐于强调自己是全球前三大互联网公司之一，2009年末全球IT企业市值20强榜单，腾
2010-11-17 23:37:00
6112
转载 【转】Lucene学习总结之一：全文检索的基本原理
<br /> 一、总论<br />根据http://lucene.apache.org/java/docs/index.html 定义：<br />Lucene 是一个高效的，基于Java 的全文检索库。<br />所以在了解Lucene之前要费一番工夫了解一下全文检索。<br />那么什么叫做全文检索呢？这要从我们生活中的数据说起。<br />我们生活中的数据总体分为两种：结构化数据 和非结构化数据 。结构化数据： 指具有固定格式或有限长度的数据，如数据库，元数据等。非结构化数据： 指不定长或无固定格式的
2010-11-17 17:28:00
977
原创 本博客中有关Lucene的讲解
Lucene的基础概念：apache lucene介绍Lucene：基于Java的全文检索引擎简介Lucene3.0.0讲解 由于lucene3.0与之前版本相差较大，所以我特别选出来讲Lucene3.0改进Lucene3.0.0 入门实例相关概念：Apache Solr 介绍（1）当前几个主要的Lucene中文分词器的比较
2010-11-17 14:20:00
1910
转载 Lucene3.0改进
一、概述Lucene3.0（以下简称3.0）已于2009-11-25发布，3.0版本是重大的版本，改动很大。在API上做了很多的调整，已经删除了很多之前废弃的方法以及类，并支持了很多Java5 的新特性：包括泛型、可变参数、枚举和autoboxing等。因此，此版本和2.x版本不能兼容，如要使用3.0版本，最好是在新项目中去使用，而不是去升级2.x或之前的版本！二、2.9版本介绍 由于新版本变动很大，官方是不推荐从旧版本升级到新版本的。因为改动会很大。 其实在2.9版本时改动就很大，因为2.9版本就
2010-11-17 14:08:00
1132
原创 40 位改变了互联网的人（下）
<br />Pierre Morad Omidyar - Ebay 创始人<br />Pierre Omidyar 创立了一个在线交易平台，人们可以在这里买卖任何东西。他们为用户设立了信誉级别，借助人性的力量维护这一切。Omidyar 的伟大在于对人的天性的洞察，他知道人们乐于购买任何东西，你认为是垃圾的东西，别人会当作宝贝。<br />Jimmy Wales - Wikipedia 创始人<br />Jimmy Wales 创立了世界上最大的百科全书，这个百科全书的词条，任何人都可以参与编辑，该站点创立于
2010-11-17 11:50:00
939
转载 40 位改变了互联网的人（上）
<br /><br />互联网让世界紧密连接在一起，Web 改变了我们的阅读，沟通，娱乐，购物，社交，以及经商的习惯，社会网络甚至让我们找回了儿时的玩伴。互联网的历史伴随着各种伟大的想法以及对这些想法的实现，而它们的背后，是一些曾经、正在或将要改变互联网的人。这是本文的第一部分。Vint Cerf 与 Bob Kahn - 互联网之父<br />互联网之父 Vint Cerf （1943年6月23日生于美国，犹太人）与 Bob Kahn （1938年12月23日生于美国，犹太人）创建了 TCP/IP 通信协
2010-11-17 11:49:00
2129
原创 Java开源分词系统IKAnalyzer学习（八） 基于词库分词
分词操作：Lexeme l = null; while( (l = ikSeg.next()) != null){ System.out.println(l); } 相关流程
2010-11-16 15:03:00
2144
转载 基于CRF的中文分词
CRF简介Conditional Random Field：条件随机场，一种机器学习技术（模型）CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注，并有多种应用场景，例如：分词（标注字的词位信息，由字构词）词性标注（标注分词的词性，例如：名词，动词，助词）命名实体识别（识别人名，地名，机构名，商品名等具有一定内在规律的实体名词）本文主要描述如何使用CRF技术来进行中文分词。CRF VS 词典统计分词基于词典的分词过度依赖词典和规则库，因此对于歧义词和未登录词的识别
2010-11-16 14:27:00
3258
原创 视频网站启动IPO：优酷人人发期权 股权结构曝光(图)
<br /><br />在酷6网和乐视网相继以风格迥异的方式完成上市后，视频网站的第二波上市潮即将来临。尽管官方三缄其口，但记者前天从优酷网和土豆网内部可靠人士处 证实，这对雄踞视频分享领域前两位的老对手近期已先后启动IPO，目标一致锁定纳斯达克。按现有时间表，优酷高管层已内定于11月递交上市申请，土豆则锁 定明年一季度登陆纳市。<br />消息人士向记者透露，最近几月优酷和土豆不约而同在打击盗版方面猛增力度，力图避免在美过会时因此遭遇滑铁卢。而从目前盈利状况而言，双方均有信心在上市后的首份财报中实现盈利，
2010-11-16 14:23:00
1337
转载 程序员：提高编程效率的技巧
<br /><br />本文写给那些认为在项目上所花时间和效率成正比的程序员。我要说的是，事实并非如此。虽然你需要在电脑前敲键盘输入东西，但这只和编程沾上一点边。那么，程序员该如何利用时间呢？<br /><br />俗话说，磨刀不误砍柴工，拿出一部分时间提升自己的技能，可以提高工作效率。你可以参考以下几条建议：<br />1. 编写单元测试，提高效率（如果你还没有这样做）<br />这是一个十分基础的工作，但是许多程序员并没这么做。但你应该这么做。这样做不仅能够提高代码质量，还能提高工作效率。你不但能够在发
2010-11-16 09:33:00
924
原创 Java开源分词系统IKAnalyzer学习（六） 词库加载源代码——Hit类
<br />/** * */package org.wltea.analyzer.dic;/** * IK Analyzer v3.2 * 表示词典检索的命中结果 * @author 林良益 * */public class Hit { //Hit不匹配 private static final int UNMATCH = 0x00000000; //Hit完全匹配 private static final int MATCH = 0x0000000
2010-11-15 15:07:00
2455
原创 Java开源分词系统IKAnalyzer学习（五） 词库加载源代码——DictSegmenty类
<br />/** * */package org.wltea.analyzer.dic;import java.util.HashMap;import java.util.Map;/** * IK Analyzer v3.2 * 字典子片断 字典匹配核心类 * 该类采用 数组 结合 HashMap，实现词典存储，词语匹配 * * 当下属的页节点小等于3时，采用数组存储 * 当下属的页节点大于3时，采用HashMap存储 * @author 林良益
2010-11-15 15:06:00
3948
原创 Java开源分词系统IKAnalyzer学习（七） 词库加载分词
词库加载模块的源码：Java开源分词系统IKAnalyzer学习（四） 词库加载源代码首先这个词典管理类采用的设计模式是单立模式，实现的代码： /* * 词典单子实例 */ private static final Dictionary singleton; /* * 词典初始化 */ static{ singleton = new Dictionary(); } private Dictionary(){ //初始化系统词典 loadMa
2010-11-15 14:44:00
6469
3
原创 Java开源分词系统IKAnalyzer学习（四） 词库加载源代码——Dictionary类
词库加载的源代码：/** * */package org.wltea.analyzer.dic;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.util.Collection;import java.util.List;import org.wltea.ana
2010-11-15 14:38:00
7751
转载 程序员能力矩阵 你属于哪一层？
<br /><br />注意:每个层次的知识都是渐增的，位于层次n，也蕴涵了你需了解所有低于层次n的知识。<br />计算机科学 Computer Science<br /><br />软件工程 Software Engineering<br /><br />程序设计 Programming<br /><br /><br /><br /><br /><br />经验 Experience<br /><br /><br /><br /><br /><br />学识 Knowledge<br /> <br />
2010-11-15 09:35:00
1091
lucene3.0.0的学习资料
2010-11-17
log4j-1.2.16.jar
2010-08-21
JUnit Jar 单元测试
2010-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人