WeiboSpider 开源项目使用教程

WeiboSpider 开源项目使用教程

WeiboSpider持续维护的新浪微博采集工具🚀🚀🚀项目地址:https://gitcode.com/gh_mirrors/weibo/WeiboSpider

1. 项目的目录结构及介绍

WeiboSpider 项目的目录结构如下：

WeiboSpider/
├── README.md
├── requirements.txt
├── weibospider/
│   ├── __init__.py
│   ├── cookie.txt
│   ├── config.json
│   ├── spiders/
│   │   ├── __init__.py
│   │   ├── user_spider.py
│   │   ├── tweet_spider.py
│   │   └── ...
│   └── main.py
└── output/

目录结构介绍

• README.md: 项目说明文档。
• requirements.txt: 项目依赖文件，包含所有需要的 Python 包。
• weibospider/: 项目核心代码目录。
  • init.py: 初始化文件。
  • cookie.txt: 存储微博登录后的 Cookie 信息。
  • config.json: 配置文件，包含爬虫的各种配置选项。
  • spiders/: 爬虫脚本目录，包含各种爬虫实现。
    • init.py: 初始化文件。
    • user_spider.py: 用户信息爬虫脚本。
    • tweet_spider.py: 微博内容爬虫脚本。
    • ...: 其他爬虫脚本。
  • main.py: 项目启动文件。
• output/: 存储爬取数据的目录。

2. 项目的启动文件介绍

项目的启动文件是 weibospider/main.py。该文件负责初始化爬虫并启动爬取过程。

main.py 文件介绍

# weibospider/main.py

import os
import sys
from weibospider.spiders import UserSpider, TweetSpider

def main():
    # 读取配置文件
    config = load_config('config.json')
    
    # 初始化爬虫
    user_spider = UserSpider(config)
    tweet_spider = TweetSpider(config)
    
    # 启动爬虫
    user_spider.start()
    tweet_spider.start()

if __name__ == '__main__':
    main()

启动步骤

1. 配置 Cookie: 在 weibospider/cookie.txt 中填入你的微博 Cookie。
2. 配置文件: 根据需要修改 weibospider/config.json 中的配置选项。
3. 启动爬虫: 运行 python weibospider/main.py 启动爬虫。

3. 项目的配置文件介绍

项目的配置文件是 weibospider/config.json。该文件包含爬虫的各种配置选项，如爬取的用户 ID、爬取的页面数量等。

config.json 文件介绍

{
    "user_id": "123456789",
    "page_limit": 10,
    "output_format": "json",
    "enable_image_download": true,
    "enable_video_download": false
}

配置项说明

• user_id: 要爬取的微博用户 ID。
• page_limit: 爬取的页面数量限制。
• output_format: 输出文件格式，支持 json、csv 等。
• enable_image_download: 是否下载微博中的图片。
• enable_video_download: 是否下载微博中的视频。

通过修改 config.json 文件，可以灵活地调整爬虫的行为和输出格式。

---

以上是 WeiboSpider 开源项目的使用教程，涵盖了项目的目录结构、启动文件和配置文件的详细介绍。希望对你有所帮助！

WeiboSpider持续维护的新浪微博采集工具🚀🚀🚀项目地址:https://gitcode.com/gh_mirrors/weibo/WeiboSpider