hfy779012303的专栏

Java 多态

[code="java"]package test;class Human{ public void show(){ System.out.println("human"); }}class Man extends Human{ public void show(){ System.out.println("man"); }}...

Java 多态

public class Hello { public static void print(Human h){ h.show(); System.out.println("p human"); } public static void print(Man h){ h.show(); System.out.println("p man"); } public static void main(String[]

转载 LDA介绍

（一）LDA作用        传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。        举个例子，有两个句子分别如下：                “乔布斯离我们而去了。”                “苹果价格会不会

转载 逻辑回归模型

1 回归问题回归在数学上来说是给定一个点集，能够找一条曲线去拟合。这里面的“找一条”曲线不是漫无边际的找，而是先假定曲线的形式，如：直线、二次曲线等等，然后来学习确定曲线的各项参数。一方面，算法没有那么神奇，不能够告诉我们用什么类型的曲线拟合最好；另一方面，如果最初的假定就错了（用直线拟合最好，但是认为选择了二次曲线），最终的效果也是不好的。所以回归问题，人的经验是

将博客搬至CSDN

原创 RPC和Socket的区别

[size=large]RPC和Socket的区别 RPC(Remote Procedure Call，远程过程调用)是建立在Socket之上的,出于一种类比的愿望,在一台机器上运行的主程序,可以调用另一台机器上准备好的子程序,就像LPC(本地过程调用). 越底层，代码越复杂、灵活性越高、效率越高；越上层，抽象封装的越好、代码越简单、效率越差。Socket和RPC的区别再次说明...

原创 RPC和Socket的区别

机器上准备好的子程序,就像LPC(本地过程调用). 越底层，代码越复杂、灵活性越高、效率越高；越上层，抽象封装的越好、代码越简单、效率越差。Socket和RPC的区别再次说明了这点。——————下面转自：http://johnyan.hostzi.com/phpbb3/viewtopic.php?t=1305——————不论是程序员在编写基于C/S(客户端服务器)的程序时,还是网络工程师在处理RPC问题时,他们问的最多的就是RPC和Socket有什么区别和联系? 　　RPC(Remot

原创 Lucene中的结果排序

转载地址：[url]http://qindongliang1922.iteye.com/blog/1924608[/url][code="java"] =========SortField类============//field是排序字段type是排序类型public SortField(String field, Type type);//field是排序字段type是排...

原创 Lucene中的结果排序

Type type);//field是排序字段type是排序类型reverse是指定升序还是降序//reverse 为true是降序 false为升序 public SortField(String field, Type type, boolean reverse) =========Sort类============ public Sort();//Sort对象构造方法默认是按文档评分排序 public Sort(SortField field);//排序的一个S

原创 打算打打

原创 判断文件编码格式

[code="java"] /** * 判断文件的编码格式 * @param fileName :file * @return 文件编码格式 * @throws Exception */ public static String codeString(String fileName) throws Exception{ ...

原创 判断文件编码格式

leName) throws Exception{ BufferedInputStream bin = new BufferedInputStream( new FileInputStream(fileName)); int p = (bin.read()

原创 hadoop序列化自定义类型以及序列化对象比较解析

[code="java"]public static class Comparator extends WritableComparator { private static final Text.Comparator TEXT_COMPARATOR = new Text.Comparator(); public Comparator() { ...

原创 hadoop序列化自定义类型以及序列化对象比较解析

super(TextPair.class); } @Override public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) { try { int firstL1 = WritableUtils.decodeVIntSize(b1[s1]) + readVInt(b1, s1);

原创 检测编码工具juniversalchardet

[code="java"] // TODO Auto-generated method stub byte[] buf = c.crawl("http://sse.bupt.edu.cn/"); //String fileName = args[0];// String fileName = "d:/test.txt";...

原创 检测编码工具juniversalchardet

// java.io.FileInputStream fis = null;// try {// fis = new java.io.FileInputStream(fileName);// } catch (FileNotFoundException e) {// // TODO Auto-generated catch block// e.printStackTrace();// } // (1)

原创 用虚拟机联网的3种模式

[size=medium]一： 虚拟机的连网模式VMware难能可贵之处在于，它不但能够虚拟出单一的系统， 而且能够虚拟出复杂的网络，。在这样的网络中，需要了解虚拟网络设备以及服务，还要知道桥接模式、网络地址转换（NAT）模式和仅主机（host only）模式三种连网模式。 1 虚拟网络适配器（Virtual Ethernet Adapter，也称为虚拟网卡）在新建虚拟机过程中，无论选...

原创 用虚拟机联网的3种模式

虚拟网络设备以及服务，还要知道桥接模式、网络地址转换（NAT）模式和仅主机（host only）模式三种连网模式。 1 虚拟网络适配器（Virtual Ethernet Adapter，也称为虚拟网卡）在新建虚拟机过程中，无论选择了桥接模式、仅主机模式或NAT模式中的任一种连网模式，都会为虚拟机自动创建虚拟网络适配器， 2．桥接模式连网和虚拟网桥使用桥接模式连网。其中，虚拟网桥通过连接宿主主机中的物理以太网适配器和虚拟机中的以太网适配器，将虚拟机连接到宿主主机所在的局域网（或Intern

原创 SimHash算法

[size=medium]说到文本相似性计算，大家首先想到的应该是使用向量空间模型VSM（Vector Space Model）。使用VSM计算相似度，先对文本进行分词，然后建立文本向量，把相似度的计算转换成某种特征向量距离的计算，比如余弦角、欧式距离、Jaccard相似系数等。这种方法存在很大一个问题：需要对文本两两进行相似度比较，无法扩展到海量文本的处理。想想像Google这种全网搜索引擎...

原创 SimHash算法

原创 alt+/不补全

1、次方法用于没有一点提示的情况：依次打开eclipse上面的windows ——preferences ——java ——editor —— content assist ，在右上方有一行“select the proposal kinds contained in the 'default' content assist list” 下面，勾选Java Prolosals 复选框，保存退出即可...

原创 alt+/不补全

s contained in the 'default' content assist list” 下面，勾选Java Prolosals 复选框，保存退出即可。2、此种方法用于打出单词缩写没有提示的情况（例如：打出syso没有提示）：依次打开eclipse上面的windows ——preferences ——java ——editor —— content assist，在右边部分偏下的地方找到“Auto activation triggers for java:”这一项，后面是一个文本框，在后面

原创 新建数据库设定编码

create database 数据库名 default charset = utf8;

原创 新建数据库设定编码

原创 equal()和==

equal（）比较的是对象的内容，==比较的是对象的引用（地址）。

原创 equal()和==

原创 解析超时

[code="java"]//设置解析超时URL urlPage = new URL(url); HttpURLConnection conn = (HttpURLConnection) urlPage.openConnection();conn.setConnectTimeout(10000); conn.setReadTimeout(10...

原创 解析超时

adTimeout(10000); Parser parser = new Parser(conn);[/code]

爬取网页中遇到的编码问题

利用httpclient爬取网页的过程中，需要根据网页的编码来进行爬取，而我们需要的网页编码是html的meta标签中conten-type属性中的charset字段定义的，因此为了防止乱码，需要获取charset字段中的编码方式。解决思路：[color=red]先按照默认方式将网页源码爬取下来，并存入byte型数组中；之后用findCharset方法，利用正则表达式获得meta标签中的编码；...

爬取网页中遇到的编码问题

原创 检索关键字高亮显示

[code="java"]import java.io.IOException;import java.io.StringReader;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.TokenStream;import org.apache.lucene.analysis...

原创 检索关键字高亮显示

.standard.StandardAnalyzer;import org.apache.lucene.document.Document;import org.apache.lucene.search.Query;import org.apache.lucene.search.highlight.Highlighter;import org.apache.lucene.search.highlight.InvalidTokenOffsetsException;import org.ap

原创 OGNL遍历list和map 以及访问四个范围的属性值

假定在struts2 的action的属性域中定义2个如下的List和Map变量和一个String对象:[code="java"]private List testlist=new ArrayList(); private Map testmap=new HashMap();private String testname="hello,i am in valuestack"; /...

原创 OGNL遍历list和map 以及访问四个范围的属性值

String testname="hello,i am in valuestack"; //直接初始化了[/code]并同时提供getter和setter方法.在 action中的execute方法中有如下的赋值操作：[code="java"]/* * OGNL测试代码 **/ HttpServletRequest request=ServletActionContext.getRequest(); //对应re

原创 org.apache.lucene.index.IndexWriterConfig

创建IndexWriter实例时，通过IndexWriterConfig来设置其相关配置：1.Analyzer：分析器2.matchVersion：所用Lucene的版本3.ramBufferSizeMB：随机内存 默认为16M.用于控制buffer索引文档的内存上限，如果buffer的索引文档个数到达该上限就写入硬盘。当然，一般来说越大索引速度越快4.maxBuffe...

原创 org.apache.lucene.index.IndexWriterConfig

原创 org.htmlparser.util.EncodingChangeException

org.htmlparser.lexer.InputStreamSource.setEncoding(InputStreamSource.java:280) at org.htmlparser.lexer.Page.setEncoding(Page.java:865) at org.htmlparser.tags.MetaTag.doSemanticAction(MetaTag.java:150) at org.htmlparser.scanners.TagScanner.scan(TagSc

Struts2

ActionContext 一次Action调用都会创建一个ActionContext 调用：ActionContext context = ActionContext.getContext() ValueStack 由OGNL框架实现 可以把它简单的看作一个栈（List） 。 Stack Object：放入stack中的对象，一般是action。 Stack ...

Struts2

栈（List） 。 Stack Object：放入stack中的对象，一般是action。 Stack Context（map）：stack上下文，它包含一系列对象，包括request/session/attr/application map等。 值栈(ValueStack)　　　　 Struts2将OGNL上下文设置为Struts2中的ActionContext(内部使用的仍然是OgnlContext)，并将值栈设为OGNL的根对象。　　　　 我们知道，OGNL上下文中的根对象