nutch
约定写代码
虽然8年前开始学习更好,但今天开始学习,总要好过明天再开始。
展开
-
nutch2.1分布式抓取
在上一篇的基础上。 1准备环境:hadoop集群、java、mysql数据库,代码可以在eclipse中运行,可以单机模式下插入数据到mysql数据库。 2修改配置文件nutch-site.xml: plugin.folders ./plugins Directories where nutch plugins are located. Each原创 2014-01-24 18:05:56 · 762 阅读 · 0 评论 -
nutch2.1在windows平台上使用eclipsedebug 存储在mysql的搭建过程
步骤1:准备好eclipse、eclipse svn插件、mysql准备好,mysql使用utf-8编码 步骤2:mysql建库,建表: CREATE DATABASE nutch ; CREATE TABLE `webpage` ( `id` varchar(767) NOT NULL, `headers` blob, `text原创 2014-01-24 18:03:58 · 990 阅读 · 0 评论