PYTHON爬虫神站——curl.trillworks 爬取数据只需两步！

前不久作者因为需要爬取一些建筑类数据 于是又又又准备苦哈哈的打开百度搜索“如何爬取XX”，然后看html，找到关键点再挨个循环访问.....以下省略。

但这次 这款朋友推荐网站拯救了我 他就是 https://curl.trillworks.com/ 为此特地开个文章纪念一下爽快的爬虫时刻。

这朴素的界面 正好象征着其大道至简的核心。

https://hangqing.gldjc.com/flooring/trend_chart/concrete ，首先我们先进入网站 我们准备爬取广材网的一些交易数据。

虽然这个界面由于要收费的原因给封了，但是并不影响我们进行测试。（你只需要从淘宝购买个一天账号，然后登陆广材网保存它的cookie 那以后就可以一直爬虫访问了！）

按照惯例我们打开F12  刷新一下 

然后在 network 寻找到你需要的get请求的声明（在右边的preview看一看）   点击右键复制其 cURL

然后 把CURL复制进入上面的那个网站 然后 然后 然后就完了！！！

最后把上述代码复制到Py 再

print(response.json()) 
#print出来就结束了！

由于是json格式 在批量处理前 需要根据情况转个格式...

爬虫正式被简化成了两步 

1.打开F12

2.CV大法