import.io,一个2012年成立的公司。至今已经有3m刀的...种子轮...为毛...
注意,这是一篇由脑残和图片组成的文章。
anyway,import.io是我用过最简单的爬虫,没有之一。简单到...只要输入一个网址(当然其实它可以更简单到不用输入http://),就可以获得一个该页面对应的API。更牛逼的是,这是一个我想寻找付费服务却寻觅不得的产品!
两步得到网站API
- 打开https://magic.import.io/ 输入要爬取的网址,比如http://producthunt.com
- 调整你需要的数据列,比如把url_link那列改为title
- 点击下面的GET API...
然后import.io就会给出一个GET API,一个POST API,甚至还有直接从Google sheets取数据的地址!
这个API足够足够简单吧!也不用[o]auth就直接拿数据!唯一可惜的一点是,似乎它有一些延迟,没法很实时获得数据(也正是这时候我开始满页面找pricing...)。
除了GET以外,你还可以往里拽(POST)其他URL,很适合那种同构的多页爬取。
当然,虽然你觉得Http GET已经足够简单了,但import.io不这么认为,它觉得你