当服务器用的是tomcat时,有时需要查看百度蜘蛛抓取日志,默认情况下是没有记录的
只需要在server..xml文件项目配置标签<host>中添加如下内容即可
<Valve className="org.apache.catalina.valves.AccessLogValve"
directory="logs" prefix="localhost_access_log." suffix=".txt"
pattern="common" resolveHosts="false"/>
然后日志出现在 /tomcat_home/logs/ 下