用爱站抓取网站生成地图,结果抓取了很多很多很多很多的页面,比如我站内某块内容只有16条列表页,然后URL是 xxx.xxxx.com/xx/1.html 然后结果给我抓取出xxx.xxxx.com/xx/1718.html 等,然后一直在抓,但是实际上根本没有这个页面,有点奇怪,这个应该是根据网站里的数据而生成的列表页面,但是没有数据,怎么还有这个页面,求教
用爱站抓取网站生成地图,结果抓取了很多很多很多很多的页面,比如我站内某块内容只有16条列表页,然后URL是 xxx.xxxx.com/xx/1.html 然后结果给我抓取出xxx.xxxx.com/xx/1718.html 等,然后一直在抓,但是实际上根本没有这个页面,有点奇怪,这个应该是根据网站里的数据而生成的列表页面,但是没有数据,怎么还有这个页面,求教