使用webscraper中的CouchDB使爬取到的数据有序

使用webscraper时,如果采用local storage是无序的方式,而CouchDB采用的是有序的方式。

1.安装

将CouchDB安装完成后，通过win+R打开运行窗口,

运行打开服务的命令services.msc,观察couchDB是否正常启动；

2.配置

通过在浏览器地址栏中输入：

http://127.0.0.1:5984/_utils/

打开页面进行创建：

点击webscraper的options,将默认库换为CouchDB:

Storage type：CouchDB
Sitemap db：http://localhost:5984/scraper-sitemaps
Data db：http://localhost:5984/

重启浏览器，任务完成