使用Scrapy爬取租号玩网站lol待租账号信息（完整代码）

一、项目Githun地址

---

https://github.com/zhonghangAlex/LOLSpider

欢迎大家访问下载！

 

二、LoLSpider 

---

本项目基于scrapy，对租号玩网站的英雄联盟相关出租账号信息进行爬取，并且存取入库，使用随机User-Agent和随机高匿IP（Based on scrapy, this project crawls the rental account information related to heroic alliance of rental number playing website, and accesses and stores it in the library, using random User-Agent and random high-anonymity IP.）

 

三、相关库、框架、功能

---

• scrapy（爬虫框架）
• scrapyd（服务端部署）
• fake_useragent（随机请求头）
• crawl_xici（西刺高匿代理）
• twisted（异步存储数据库）
• pymysql（mysql链接）