TorCrawl.py 项目使用教程

TorCrawl.py 项目使用教程

TorCrawl.pyCrawl and extract (regular or onion) webpages through TOR network项目地址:https://gitcode.com/gh_mirrors/to/TorCrawl.py

1. 项目的目录结构及介绍

TorCrawl.py 项目的目录结构如下：

TorCrawl.py/
├── res/
│   └── keyword.yar
├── .gitignore
├── LICENSE
├── README.md
├── requirements.txt
└── torcrawl.py

• res/: 包含关键词搜索文件 keyword.yar。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件，采用 GPL-3.0 许可证。
• README.md: 项目说明文档。
• requirements.txt: 项目依赖文件。
• torcrawl.py: 项目主启动文件。

2. 项目的启动文件介绍

项目的启动文件是 torcrawl.py。该文件是 Python 脚本，用于通过 Tor 网络进行匿名网页抓取。它结合了 Tor 的强大隐私功能，使得数据收集既安全又不可追踪。

主要功能

• 匿名抓取网页内容。
• 支持通过 Tor 网络或不使用 Tor 网络进行抓取。
• 支持从文件导入 URL 进行抓取。
• 支持关键词搜索。

使用示例

$ python torcrawl.py -u http://www.github.com/ -c -d 2 -p 5

该命令表示抓取 http://www.github.com/ 页面，深度为 2，每次抓取间隔 5 秒。

3. 项目的配置文件介绍

项目的配置文件主要是 requirements.txt 和 res/keyword.yar。

requirements.txt

该文件列出了项目运行所需的 Python 依赖包，使用以下命令安装：

$ pip install -r requirements.txt

res/keyword.yar

该文件用于关键词搜索，可以根据需要更新以搜索其他关键词。使用 -y 参数进行关键词搜索：

$ python torcrawl.py -y 0

-y 0 表示搜索整个 HTML 对象，-y 1 表示仅搜索文本内容。

---

以上是 TorCrawl.py 项目的使用教程，希望对您有所帮助。

TorCrawl.pyCrawl and extract (regular or onion) webpages through TOR network项目地址:https://gitcode.com/gh_mirrors/to/TorCrawl.py