- 博客(6)
- 收藏
- 关注
RSS订阅将Django运行于Tomcat
1. 安装步骤 将Django运行于Tomcat 1.1. 下载Jython [code="java"] svn co https://jython.svn.sourceforge.net/svnroot/jython/trunk/jython/ jython-dev [/code] 1.2. 编译Jython [code="java"] cd jython-d...
2008-09-10 17:41:28
4154
完成了自定义入nutch库的命令
可以利用到hadoop的map/reduce和hdfs，感觉还是很爽，需要注意的几点总结如下: 1.自定义命令类可以单独作一个jar，但要记得部署到<wbr></wbr>每个节点，否则会无法执行 2.记得启动maper服务，否则无法进行map/re<wbr></wbr>duce计算 3.自定义命令调用方法bin/nutch CLASSNAME 参数...
2007-09-16 14:59:52
111
solr弯路篇
在改造solr的过程中，发现代码越写越驱近于nutc <wbr></wbr>h。。。。。再次打开nutch的代码进行研读，发现n<wbr></wbr>utch对于hadoop的支持更为自然(但nutch<wbr></wbr>不支持最新的hadoop0.14版本，只支持到had<wbr></wbr&am
2007-09-14 17:33:11
115
solr改造篇
solr本身支持分布式索引，是利用rsync来做的， 详见文档: http://wiki.apache.org/solr/CollectionDistribution 但是，我是想利用hdfs来作这件事，在看了solr的源代码后，发现其并不能配置为直接支持hdfs，他默认就是读取写入本地文件系统，代码片段如下: [code] File dirFile = new File(getIn...
2007-09-14 00:35:24
90
solr+lucene+hfs心得(1)
这几天一直在捣鼓solr,lucene,hdfs这几个东西，在此记录几个关键点 1.solr 是一个很好的中间系统，他把lucene很好的进行了包装，几乎各个部分都可以进行自己的扩展。我们会用到的部分: [list] 自定义数据源格式，并添加索引 将原始文件和索引添加到hfs 目前搜索的部分已经够用 Cache Rpc式的搜索 [/list] 我们要用到的一些特性s...
2007-09-14 00:32:23
68
Hadoop and Lucene
这几天的工作一直在围绕Hadoop进行,记录一些随手心得. Hadoop有价值的部分: 1.HDFS 一个分布式的文件系统,我们的目标是用HDFS来完成数据的分布式保存和索引文件的分布式保存 2.Map/Reduce 用来做分布式运算,摆脱SQL的束缚,完全利用索引,来进行数据的检索.然后用Map/Reduce来进行我们需要的统计计算,利用分布式机制提高运算速度 Lucen...
2007-09-14 00:30:17
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人