分析网站日志对于网站体验的优化、蜘蛛的友好度有着重要的意义,而网站日志分析应当主要包括以下维度。
蜘蛛类型
1、蜘蛛日志 网站日志分析必不可少的环节就是分析蜘蛛日志,其蜘蛛类型应当囊括当前主流的蜘蛛分类、异常蜘蛛类型、蜘蛛总数、蜘蛛抓取频次、蜘蛛抓取记录。
A、有用的蜘蛛 如百度蜘蛛baiduspider、google蜘蛛googlebot、360蜘蛛360spider、神马蜘蛛yisospider、必应蜘蛛bingbot、头条蜘蛛Bytespider。这些都是有用的蜘蛛。
B、无用的蜘蛛 除却以上提及有用的蜘蛛意外,还应当统计无用蜘蛛类型,并根据其访问频次决定是否应当封禁。 如SemrushBot、AhrefsBot、blexbot、mj12bot,包括但不局限于这里列出的蜘蛛分类。
C、其他 所谓其他蜘蛛,指的是以上未列出的蜘蛛类型,应当归类为spider / bot。此类蜘蛛如果访问量巨大,也应当将其排查出来并视情况加入封禁行列。
D、蜘蛛抓取频次与记录,即可以一目了然地看到蜘蛛抓取的全部记录,以及每个链接抓取的次数。
日志分析方法
1、蜘蛛日志分析
内容涵盖上面所讲的全部蜘蛛类型、抓取频次、抓取的页面信息等等。
2、IP分析
要分析日志,就避不开异常ip分析。例如一个站,一般人可能看三五个页面就走了,却有人看了三五十个甚至三五百个,这类人有没有问题呢?
因此,我们有必要将每个ip的浏览频率分析汇总,并根据详细日志判断该用户的所为是否合规。
3、高频访问页分析
通过分析访问量最高的部分页面,我们可以快速明确广告该如何投放、页面该如何维护调整,让高频访问页获得更多针对性的流量。
4、404页汇总
分析网站日志一定少不了分析404错误页,并将相关数据进行汇总按倒叙排列。如上图所示,此处的404错误大多来自一些黑客,此类ip如果是国内ip段可考虑直接封禁。
而第六个404则是网站已经失效的接口,可提交死链到百度站长平台。
当你有了如此之多的网站日志分析数据,那么下一步该怎么做一定已经了然于胸了。
当然,要分析网站日志,靠人力是很难的,遗漏、错误很难避免,此时我们就可以借用工具。就如我们推荐的这个:
上方信息附带的截图全部是真实可靠的,但比较遗憾的是,这个日志分析工具现阶段仅支持宝塔面板网站日志的分析。
当然,如果其他类型日志分析用户数量大,也可以联系在线客服,提交几条你的日志信息供参考,后续则会添加相应类型的日志解析。
网站建设不易,站长不易,尤其是在2021年的今天,新站长要起步,难度更胜往昔。所以,扎实地分析日志,根据日志情况进行调整,例如优化404页面、例如防止恶意采集,等等等等不一而足。
希望各位站长,都能迎来自己的高光时刻。