自动爬取全站URL推送说明书:
此功能将会针对爬取的站点进行全站URL爬取并且进行推送,爬取的每一条URL都会只推送一次,不会重复推送。
1.设置爬取的URL尽量是本服务器的站点,如果要推送别的站点可以先测试服务器能否请求到这个站点。别的站点的服务器也要把本服务器的IP添加到白名单,以防被拦截。
2.每次推送条数尽量控制在200以内,小量多次的推送可以节省CPU开销。
3.设置爬取的入口URL,请设置常更新的URL(比如首页URL)。
4.推送定时如果不是常更新的站点,可以把时间设置大点。
5.URL过滤(如果不限制就为空,多个条件以 | 隔开)
如何下载土拨鼠网站日记分析管理