Glassdoor 评论抓取器使用教程

Glassdoor 评论抓取器使用教程

glassdoor-review-scraperScrape reviews from Glassdoor项目地址:https://gitcode.com/gh_mirrors/gl/glassdoor-review-scraper

1. 项目的目录结构及介绍

glassdoor-review-scraper/
├── .gitignore
├── LICENSE
├── README.md
├── main.py
├── requirements.txt
├── schema.py

• .gitignore: 用于指定Git版本控制系统忽略的文件和目录。
• LICENSE: 项目的许可证文件，本项目使用BSD-2-Clause许可证。
• README.md: 项目说明文档，包含项目的基本介绍和使用说明。
• main.py: 项目的启动文件，包含主要的抓取逻辑。
• requirements.txt: 项目依赖的Python包列表。
• schema.py: 定义数据结构的文件，用于存储抓取的数据。

2. 项目的启动文件介绍

main.py 是项目的启动文件，负责初始化和执行抓取任务。以下是 main.py 的主要功能：

• 导入必要的模块和配置。
• 初始化抓取任务。
• 执行抓取逻辑，从Glassdoor网站抓取评论数据。
• 将抓取的数据保存到指定的格式或数据库中。

3. 项目的配置文件介绍

项目中没有显式的配置文件，但可以通过命令行参数或环境变量进行配置。以下是一些常见的配置选项：

• --limit: 设置抓取的最大评论数量。
• --max_date: 设置抓取评论的最大日期。
• --url: 设置抓取的Glassdoor页面URL。

例如，可以通过以下命令行参数启动抓取任务：

python main.py --limit 9999 --max_date 2010-12-31 --url "https://www.glassdoor.com/Reviews/McDonald-s-Reviews-E432_P13.htm?sort.sortType=RD&sort.ascending=true"

以上是 glassdoor-review-scraper 项目的基本使用教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。

glassdoor-review-scraperScrape reviews from Glassdoor项目地址:https://gitcode.com/gh_mirrors/gl/glassdoor-review-scraper