方案:Nutch+ElasticSearch/Solr+Hadoop
Nutch:爬取网页
ES/Solr:构建索引库,提供搜索服务,Restful API支持
Hadoop:hdfs用于存储索引文件,关于存储也可以考虑NoSql,如:cassandra,hbase
Nutch+ElasticSearch/Solr+Hadoop
最新推荐文章于 2024-01-21 03:33:02 发布
方案:Nutch+ElasticSearch/Solr+Hadoop
Nutch:爬取网页
ES/Solr:构建索引库,提供搜索服务,Restful API支持
Hadoop:hdfs用于存储索引文件,关于存储也可以考虑NoSql,如:cassandra,hbase