宝塔站长助手插件-智能防爬虫,批量生成robots.txt

github5站长助手

介绍

基于lua开发的开源站长助手, 实现常见的站长功能:

• 智能防爬虫
• 批量添加站长统
• 批量替换网页内容
• 智能管理网站有效链接
• 批量生成robots.txt
• 批量屏蔽网站错误信息
• 自动推送到百度
• 更多功能开发中,欢迎联系我们反馈您的需求，QQ群

功能界面

功能详情

反爬防护

对网站进行安全防护,防止网络爬虫恶意请求

主要功能

• 浏览器验证
  智能验证请求客户端是否为浏览器

• 返回内容编码
  在不影响用户使用的情况下，对网站返回的html进行编码输出

• 屏蔽错误信息
  禁止返回错误状态码和错误页面信息，可自定义错误页面

• 无头浏览器识别
  智能检测无头浏览器爬虫

• 人机识别
  当检测到异常 需要用户手动输入验证码 进行进行操作

• 加白功能<