2006年09月_ycl111

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月

转载 SQL2k安装问题解决

昨天在安装SQL2k时候，出现。。以下错误。。。“以前的某个程序安装已在安装计算机上创建挂起的文件操作。运行安装程序之前必须重新启动计算机”。无法进行下去。如果以后遇到这样的情况，不一定是SQL2k安装的时候，，执行以下操作。。。打开注册表编辑器，在HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Control/Session Manager中找

2006-09-20 12:33:00 1380

原创一些连接地址

http://www.nlp.org.cn/docs/doclist.php?cat_id=10&type=14自然语言

2006-09-19 15:47:00 965

转载 Nutch version 0.8 安装向导

Nutch version 0.8 安装向导1、必要的条件1.1 Java 1.4或1.4以上版本。操作系统推荐用Linux（Sun或IBM的都可以）。记得在环境变量中设置变量NUTCH_JAVA_HOME=你的虚拟机地址，例如，本人将jdk1.5安装在c:/jdk1.5文件夹下，所以本人的设置为NUTCH_JAVA_HOME=c:/jdk1.5（此为win32环境下的设置方法）。1.2 服务

2006-09-07 14:41:00 1636

转载 openssh配置说明

主题：openssh配置说明相关文件： openssh-clients-2.9p2-7.rpm openssh-2.9p-7.rpm openssh-server-2.9p2-7内容：SSH的英文全称是Secure SHell。通过使用SSH，你可以把所有传输的数据进行加密，这样"中间人"这种攻击方式就不可能实现了，而且也能够防止DNS和IP欺骗。还有一个额外的好处就是传输

2006-09-07 14:01:00 1714

转载 Distributed Hadoop Execution

Hadoop 带有一个ant的build脚本，修改target compile-examples中的include路径，设为自己的demo路径。然后运行 ant examples，会在build脚本目录下面生成一个build目录，里面已经包含了构建好的jar包等。建一个JobServerMain，内容为 public static void main(String[] ar

2006-09-04 16:53:00 1337

转载 Hadoop Inside (3)

之前的MapReduce Demo只能在一台机器上运行，现在是时候让它分布式运行了。在对MapReduce的运行流程和FileSystem进行了简单研究之后，现在尝试从配置着手，看看怎样让Hadoop在两台机器上面同时运行MapReduce。首先看回这里 String tracker = conf.get("mapred.job.tracker", "local");

2006-09-04 16:52:00 1456

转载 Hadoop Inside (2)

Hadoop 的文件系统，最重要是 FileSystem 类，以及它的两个子类 LocalFileSystem 和 DistributedFileSystem。这里先分析 FileSystem。抽象类 FileSystem，提高了一系列对文件/目录操作的接口，还有一些辅助方法。分别说明一下:1. open，create，delete，rename等，非abstract，部分返回 F

2006-09-04 16:51:00 1583

转载 Hadoop Inside (1)

启动一个Hadoop任务，一般流程是创建一个JobConf，然后调用JobClient.runJob执行。就从这里入手分析。runJob是一个静态方法，首先将输入的JobConf构造一个JobClient实例 /** * Build a job client, connect to the default job tracker */ public JobC

2006-09-04 16:50:00 2018

转载 Hadoop Learning (3)

上面的例子还不完整，统计数据没有排序，而且输出的output文件是二进制格式的。现在修改一下Statistic.java: public static void main(String[] args) throws IOException { Configuration defaults = new Configuration(); new Jo

2006-09-04 16:49:00 1183

转载 Hadoop Learning (2)

之前做的Demo太无聊了，决心改造一下~~1. 输入格式。之前的程序，StatMapper莫名其妙被输入了一堆key，value，应该是一种默认的输入格式，找了一下，原来是这个: org.apache.hadoop.mapred.InputFormatBase, 继承了InputFormat接口。接口里面有一个 FileSplit[] getSplits(FileSystem fs,

2006-09-04 16:48:00 1183

转载 Hadoop Learning (1)

My DemoStatistic.java1. 初始化配置文件，临时文件存放目录，还有具体的Job。 Configuration defaults = new Configuration(); File tempDir = new File("tmp/stat-temp-"+Integer.toString( new Random().

2006-09-04 16:47:00 1472

原创让Nutch支持中文分词

Nutch搜索引擎是一个构建在Lucene上的开放源代码的搜索引擎。可以通过CVS取得它的最新版本。让nutch支持中文分词的方法和Lucene类似，但是nutch很多时候调用了底层的Lucene API。因此需要我们做更多的工作。一、修改查询分析器需要修改的文件是：net.nutch.analysis.NutchAnalysis.java。这个文件是从NutchAnaly

2006-09-04 10:56:00 1905