Python
winterfell17
知其不可而为之
展开
-
python ajax爬虫 --36Kr为例
本文转自我的个人博客 最近在倒腾ajax爬虫,顺便记录一下过程。以36Kr “早期项目” 一栏为例,大致分为如下两步。解析索引页难点在于如何获取索引页的url。浏览器打开36Kr,按F12打开开发者工具,切换到Netwotk 面板。AJAX 一般是通过 XMLHttpRequest 对象接口发送请求的,XMLHttpRequest 一般被缩写为 XHR。所以点击XHR,清空监听到的内容。如下图:点转载 2016-05-10 16:40:22 · 3176 阅读 · 1 评论 -
python rabbitmq 服务实例--图片流上传oss
本文转载自我的个人博客需求按生产和消费者模型,写一个图片流上传至阿里oss的服务。其中,生产者是python爬虫,抓取需要的图片链接url。消费者获取url对应的文件流,将其上传至oss。中间件采用rabbitmq。基于此需求,本人写了一个小demo,分享给大家。本文的中心将在消费者,至于生产者(python spider)不描述。由于本人对此不是很熟,技术略糙,其中难免会有很多需要改进的地方,欢迎转载 2016-06-19 21:29:29 · 2809 阅读 · 0 评论