单机多线程爬虫,耗时30小时,爬取B站2000W用户公开数据,存入数据库。
为用户个性签名提供网页索引,说不定这是东半球脑洞最大的小词儿了。
网页版入口:
http://cdxy.me/CI/
项目地址:
https://github.com/Xyntax/POC-T/blob/master/module/spider.py
脚本很简单,已作为模块整合到我的多线程框架中:
import requests
import json
import MySQLdb
def info
单机多线程爬虫,耗时30小时,爬取B站2000W用户公开数据,存入数据库。
为用户个性签名提供网页索引,说不定这是东半球脑洞最大的小词儿了。
网页版入口:
http://cdxy.me/CI/
项目地址:
https://github.com/Xyntax/POC-T/blob/master/module/spider.py
脚本很简单,已作为模块整合到我的多线程框架中:
import requests
import json
import MySQLdb
def info