现在可以说是一个大众对数据越来越敏感,越来越重视的时代。
比方说,住在城堡里的 Lucy 姑娘发现,有越来越多的时候,需要在网上采集一些数据来进行分析,或者构建语料库。
比方说,想每天看看 自己发和对手发的的视频点击量都如何了,想买的口红价格一直有没有变化。
导论——如何完成 价格监控 场景实例
每采集一个网站,就得写一次爬虫,虽然简单,但是每次都写好麻烦的!
这篇文章,我们来 教你 怎么写一个像早期造数Demo版本一样的云爬虫。
来造数 - 好用的云爬虫帮你省时省力采集数据
——————————————————————————————————
造数云爬虫使用介绍—在线播放—优酷网,视频高清在线观看http://v.youku.com/v_show/id_XMjUyMzc1MzE0OA==.html?from=s1.8-1-1.2&spm=a2h0k.8191407.0.0
—————————————————————————————————
【架构的设想】
(架构内容来自造数的深度用户 Joe)
由于用户端和云端都需要展示Web页面,为了省去PHP页面+Python采集解析这个过程中需要的通讯过程,干脆直接使用Web.py来构建整个项目。
那么剩下的问题无非也就几个:如何构建自己的“审察元素”/“inspector”功能
学习web.py框架(之前没用过)
【inspector 构建】
inspector无非就是监听每一个元素的 hover事件,当某一个元素上检测到hover进入的事件,就将该元素加一个明显的border,并修改一下其背景色、透明度之类的属性:
当检测到hover移出的时间,就恢复该元素之前的样式属性。
注意:为什么是jquery语法使用了 $$ ,而不是单个 $?
为整个项目使用了Web.py框架,模板文件里面的$必须转义为$$,或者修改为:jQuery为什么要先:unbind?
因为“获取翻页模式”和“inspector模式”,都监听了hover事件
【预测用户需要采集的目标】
现在的网页,一般相同的模式/样式的元素,其class或者xpath是相似或相同的。那么当用户点击一个元素之后,从当前的元素往上级寻找,直到有class能标志该目标。
analyze_kclass的功能是解决某一个元素的class中,有一个在整个dom中是唯一的,如:
【没代码 说个代码】
【欢迎使用造数】