开源项目 lightcrawler 使用教程

开源项目 lightcrawler 使用教程

lightcrawlerCrawl a website and run it through Google lighthouse项目地址:https://gitcode.com/gh_mirrors/li/lightcrawler

1. 项目的目录结构及介绍

lightcrawler 项目的目录结构如下：

lightcrawler/
├── .gitignore
├── LICENSE.md
├── README.md
├── cli.js
├── index.js
├── package-lock.json
├── package.json
└── report.json

• .gitignore: 用于指定 Git 版本控制系统忽略的文件和目录。
• LICENSE.md: 项目的许可证文件，采用 ISC 许可证。
• README.md: 项目说明文档，包含项目的基本信息和使用方法。
• cli.js: 命令行接口文件，用于启动项目。
• index.js: 项目的主文件，包含核心逻辑。
• package-lock.json: 锁定项目依赖的版本。
• package.json: 项目的配置文件，包含项目的基本信息和依赖。
• report.json: 生成的报告文件，包含爬取和分析的结果。

2. 项目的启动文件介绍

项目的启动文件是 cli.js，它是一个命令行接口文件，用于启动 lightcrawler 项目。可以通过以下命令启动项目：

node cli.js --url https://example.com --config lightcrawler-config.json

其中，--url 参数指定要爬取的网站地址，--config 参数指定配置文件的路径。

3. 项目的配置文件介绍

项目的配置文件是 lightcrawler-config.json，它是一个 JSON 格式的文件，用于配置爬取和分析的参数。一个典型的配置文件如下：

{
  "extends": "lighthouse:default",
  "settings": {
    "crawler": {
      "maxDepth": 2,
      "maxChromeInstances": 5
    },
    "onlyCategories": [
      "Accessibility",
      "Performance",
      "Best Practices"
    ],
    "onlyAudits": [
      "accesskeys",
      "aria-allowed-attr",
      "external-anchors-use-rel-noopener",
      "geolocation-on-start",
      "no-document-write",
      "no-mutation-events",
      "no-old-flexbox",
      "time-to-interactive",
      "user-timings",
      "viewport",
      "without-javascript"
    ]
  }
}

• extends: 继承 Lighthouse 的默认配置。
• settings: 包含爬取和分析的参数。
  • crawler: 爬取参数，如最大深度和最大 Chrome 实例数。
  • onlyCategories: 指定要分析的类别，如可访问性、性能和最佳实践。
  • onlyAudits: 指定要执行的审计项。

通过配置文件，可以灵活地调整爬取和分析的行为，以满足不同的需求。

lightcrawlerCrawl a website and run it through Google lighthouse项目地址:https://gitcode.com/gh_mirrors/li/lightcrawler