CrawlerDetect 使用指南

CrawlerDetect 使用指南

crawler_detect Ruby gem to detect bots and crawlers via the user agent 项目地址: https://gitcode.com/gh_mirrors/cr/crawler_detect

项目概述

CrawlerDetect 是一个Ruby版本的爬虫检测工具，灵感来源于PHP类库 @CrawlerDetect。此gem通过分析用户代理（User-Agent）和其他HTTP头部信息，有效识别出上千种爬虫、蜘蛛和机器人。相比其他流行的爬虫检测宝石，它提供了更全面的爬虫模式匹配及多HTTP头检查功能。

目录结构及介绍

CrawlerDetect项目结构清晰，便于开发者理解和扩展。以下是主要的目录和文件说明：

.
├── bin                    # 启动脚本及相关可执行文件存放目录
├── lib                     # 核心代码库，包含CrawlerDetect类定义
│   └── crawler_detect.rb
├── spec                   # 单元测试和规范文件
│   ├── crawler_detect_spec.rb
│   └── ...
├── .dockerignore           # Docker构建时忽略的文件列表
├── Dockerfile              # Docker容器构建指令文件
├── Gemfile                 # Ruby项目的依赖管理文件
├── LICENSE.txt             # 许可证文件
├── README.md               # 项目介绍和快速入门文档
├── Rakefile                # 自动任务定义文件，通常用于测试等
└── crawler_detect.gemspec  # Gem规格文件，描述了Gem的元数据

项目的启动文件介绍

项目本身不直接提供一个“启动文件”以运行服务，而是作为一个Ruby gem设计用于集成到更大的应用中。但bin目录下的潜在可执行文件或开发中的脚本可以视为进入点，如果项目内部有此类自定义命令或工具。

对于开发和测试场景，你可能会利用Dockerfile来启动一个包含所有必要环境的容器，进行开发和测试工作，这可以视为间接的“启动”方式。

项目的配置文件介绍

CrawlerDetect允许通过配置来自定义其行为，虽然核心目录下没有直接列出配置文件，但它支持通过初始化过程中的配置块或外部JSON文件进行定制。这里的关键是通过初始化CrawlerDetect时或使用CrawlerDetect.setup方法来设置以下路径：

• raw_headers_path: 定义自定义的HTTP头部路径。
• raw_crawlers_path: 自定义爬虫名单的路径。
• raw_exclusions_path: 白名单或排除特定爬虫的配置路径。

这些配置路径可以通过Ruby代码设定，如在应用的配置文件或初始化脚本中：

CrawlerDetect.setup do |config|
  config.raw_headers_path = File.expand_path("path/to/your/custom_headers.json", __dir__)
  config.raw_crawlers_path = File.expand_path("path/to/your/custom_crawlers.json", __dir__)
  config.raw_exclusions_path = File.expand_path("path/to/your/exclusions.json", __dir__)
end

请注意，上述配置文件需遵循JSON格式，并且默认情况下，项目并不自带这些自定义文件，开发者需根据需要自行创建并指向正确的路径。

crawler_detect Ruby gem to detect bots and crawlers via the user agent 项目地址: https://gitcode.com/gh_mirrors/cr/crawler_detect