爬虫
文章平均质量分 87
Cloud_Strife.
这个作者很懒,什么都没留下…
展开
-
scrapy with bilibili
scrapy with bilibili 一、前言 在一个月前,我写了一篇scrapy杂记记录了爬取lol.qq.com获取英雄联盟数据及英雄皮肤原画的过程。第一次使用scrapy后,了解了大致的爬取流程,但在细节上(例如防ban策略,奇怪数据处理)没太在意,处于编码第一阶段(能跑就行)。 中间学了半个月的Qt5和pygame,(没学出个什么样子,了解了大致概念,翻指南能上手了),之后,...原创 2018-05-09 10:21:30 · 991 阅读 · 0 评论 -
scrapy杂记
scrapy杂记 一、前言 了解到爬虫技术大概有18个月了,这期间自己写过几个爬虫,也fork过几个流行的爬虫repo,包括bilibili-user、iquery、WechatSogou等,但一直没系统的写过爬虫,上一次心血来潮(17年10月),想要爬下关于英雄联盟的数据,主要想获得皮肤原画数据。 当时决定的目标网站是英雄联盟中文官网,数据准确且更新快。LOL数据库,但苦于该网页全篇使...原创 2018-04-16 18:51:28 · 638 阅读 · 0 评论