【Python3】B站用户数据收集

bilibili_member_crawler

业余时间用python写的B站用户信息爬虫
仅供学习使用,欢迎来Star(o)/~

环境

  • python 3.6+
  • mysql 5.7+

下载安装

  • 下载源码:
git clone git@github.com:cwjokaka/bilibili_member_crawler.git

或者在https://github.com/cwjokaka/bilibili_member_crawler 下载zip文件
  • 安装相关依赖:
pip install -r requirements.txt

文件介绍

  • bilibili_member_crawler.py:爬虫入口
  • distributor.py:任务分发器,负责生成任务到任务队列
  • worker.py:工作线程,负责从任务队列拉取任务,并把B站用户信息持久化到mysql
  • res_manager.py:资源管理,用于管理任务队列
  • variable.py: 配置文件, 包含代理、数据库、线程设置等
  • sql/bilibili.sql:数据库初始化文件
  • user-agents.txt:浏览器agent列表文件

注意

  • 请控制好您的车速(由variable.py的线程数、爬取时间间隔决定)
  • 代理PROXIES需要定期更换

PS:有时间会做相关统计 (溜了溜了

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页