某site无法进行搜索内容，其他site都可以搜索

 

进行大量站点测试后，发现其他站点search正常，而该站点无法进行搜索到结果，从爬网中的日志中发现以下错误：

The start address http://xxxxxxxxx cannot be crawled；

新建该站点的网站内容进行专门爬网测试，错误依旧，无法对该站点爬网，根据错误可以判断是爬网服务器无法访问该站点，在爬网服务器上打开该站点url，却出现错误提示，无法打开该网站，判断可能缺少该网站的自定义组件。

最后发现该站点有自定义的组件，在爬网服务器的添加该网站的自定义dll，然后进行增量爬网测试，已经可以在该site搜索出内容。