闲鱼真是一个很神奇的地方,= =能让我等学生狗不用花很多钱就能体验科技的乐趣,当然,前提是别翻车。
好了,这当然是题外话,这阵子总结了自己学习的一些技能,就写一个对闲鱼的数据抓取来练练手。
预计达到的目标:第一步,将闲鱼上发布的商品信息爬取到本地。
第二步,实现关键词价格域提醒,比如设置想要找一个5000以下的IPHONE X,可爱的爬虫在闲鱼抓信息的时候,当发现匹配的商品的时候,就会给你疯狂打call,好吧,给你发邮件之类的。
首先,我们看一下闲鱼闲置商品的网址:
https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.6e0f2979exfsD7&oon=10&st_trust=1&ist=1
样子呢是这样的
可以看出来女装鞋子什么的占了很大一部分,= = 看来都是女装大佬。
好了,从哪入手呢,当然是从这么多的分类入手了。我们都可以很轻松的发现,每个分类的链接相似度很高,大家可以自己看看。
分类的不同主要是取决于URL的catid参数。
很明显,URL和分类名称形成了一中key-value的对应关系,在程序执行过程中我们可以将其存储在