Scrapy
TheSpySpider
Spiders are surfing on the Internet.
展开
-
Selenium+PlantomJs模拟登陆
1.python抓取网页的过程中,有很多网页都是需要登陆后才可以进行信息采集,分析页面链接有的时候太费时间,因此引入了Selenium+PlantomJs实现模拟登陆,简单,方便实现登陆拿到cookies 2.实现思路分析 a)访问淘宝登陆页面 https://login.taobao.com/member/login.jhtml b)输入用户名,密码 c)登陆成功,cookies持久化...原创 2018-08-30 18:29:34 · 1351 阅读 · 0 评论 -
Scrapy框架整合英雄缩略图(APP)
1.自定义需求 英雄联盟的英雄皮肤,手机app查看太麻烦,一个个翻,看起来不够直观,想要实现按英雄名称文件夹命名,分类保存在本地,英雄的数据信息保存在数据库中,需求很简单吧! 2.需求分析 a)根据英雄名称创建文件夹 b)根据英雄所有皮肤图片链接保存图片 c)英雄的属性信息保存MongoDb 3.实现思路 a)用到技术点:Fiddler抓包工具+Python语言+Scrapy框架+M...原创 2018-08-28 22:37:40 · 833 阅读 · 2 评论