Nutch实战
文章平均质量分 69
介绍Nutch的开源爬虫框架、以及Nutch的插件制作
睿智的河水
把工作和生活当成是打怪升级。
展开
-
Hadoop —— Ubuntu单机环境部署Hadoop1.2.1
建立ssh无密码登陆本机root@fonxian-desktop:~# apt-get install openssh-serverroot@fonxian-desktop:~# ssh-keygen -t rsa -P " "root@fonxian-desktop:~/.ssh# cat id_rsa.pub >> authorized_keysHadoop部署下载hadoop1.2.11、原创 2015-09-17 11:28:54 · 1006 阅读 · 0 评论 -
HBase搭建并使用Java调用HBaseAPI
1、HBase的搭建1.1下载HBase0.94.141.2修改 conf/hbase-site.xml<configuration> <property> <name>hbase.rootdir</name> <value>file:///root/test/hbase</value> </property><property> <name>hbase.zookeepe原创 2015-09-22 14:59:50 · 4219 阅读 · 1 评论 -
【Nutch】Solr4.6搭建
一、Tomcat环境 二、下载Solr4.6,解压 下载地址http://archive.apache.org/dist/lucene/solr/4.6.1/ 解压后 三、部署solr1、将example/webapps/solr.war复制到tomcat/webapps下2、在 solr/example/solr/collection1/下创建一个data文件夹3、 进入tomca原创 2015-10-30 23:03:09 · 1751 阅读 · 2 评论 -
Nutch第一次搭建部署总结
首先按照教程http://blog.csdn.net/fonxian/article/details/48522479 安装HBase,安装的过程中发现搭建Nutch需要其他额外的几样工具,HBase、ZooKeep、Hadoop、Solr ,它们的分工是,Nutch负责抓取数据,HBase则负责将数据存储起来,Solr是负责建立索引,Hadoop则是为Nutch和HBase提供一个分布式的环境原创 2015-09-17 20:43:35 · 2243 阅读 · 0 评论