- 博客(3)
- 资源 (8)
- 收藏
- 关注
原创 scrapy爬虫之模拟登录豆瓣
简介在之前的博文python爬虫之模拟登陆csdn使用urllib、urllib2、cookielib及BeautifulSoup等基本模块实现了csdn的模拟登录,本文通过scrapy模拟登录豆瓣,来深入了解下scrapy。豆瓣登录需要输入图片验证码,我们的程序暂时不支持自动识别验证码,需要将图片下载到本地并打开以进行人工识别输入到程序中。分析豆瓣登录1.分析豆瓣登录页的样式
2017-12-28 12:29:22 7206 6
原创 scrapy爬虫之《琅琊榜2》话题title收集及词云展示
简介最近看微信公众号上好多文档关于豆瓣上电影的影评分析的,感觉挺有意思的,就拿《琅琊榜2》也来尝试下。本文主要是使用scrapy爬取豆瓣上的《琅琊榜2》的话题讨论区并用作词云展示。至于为什么使用scrapy,主要是之前使用过python的beautifulsoup、selenium等模块,各个功能都是自己写的,不是很系统,而scrapy作为爬虫框架内置css、xpath且异步抓取,效率很高。实现一、
2017-12-27 08:18:51 1570 1
原创 ansible-playbook实战之部署redis+sentinel+twemproxy
简介twemproxy,也叫nutcraker。是一个twtter开源的一个redis 和memcache 快速/轻量级代理服务器;Twemproxy是一个快速的单线程代理程序,支持Memcached ASCII协议和更新的Redis协议 Twemproxy 通过引入一个代理层,可以将其后端的多台 Redis 或 Memcached 实例进行统一管理与分配,使应用程序只需要在 Twemproxy
2017-12-21 17:52:45 2313
Huawei_iBMC.zip
2020-11-12
svn源码泄露漏洞工具
2015-08-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人