多进程构建 IP 代理池

IPProxy_Pool

🚀 Building Ip Proxy Pool

相关知识点

• multiprocessing 【爬取数据】
• threading【校验数据有效性】
• lxml【解析 html】

Project Structure

├── LICENSE
├── Makefile        # make 服务启动命令
├── README.md
├── app.py          # crawl 启动入口
├── config.py       # crawl config
├── data            # docker mongo data
├── db_helper       # db
│   ├── __init__.py
│   └── mongo_db.py
├── dev.dockerfile.yml  # dev docker-compose file
├── dockerfile
├── requirements.txt
├── spider              # spider
│   ├── __init__.py
│   ├── crawl.py
│   ├── html_downloader