#十一高德出行节#
高德大数据可以查询热门路线,迁入城市,迁出城市
![a5060e45e208a5026ad81401e33719ff.png](https://i-blog.csdnimg.cn/blog_migrate/2ec57495796e2dc1c35e5f7b4aba2039.jpeg)
全国的数据是这样的:
![4f4fd3981220b9b9ad1e0a8d1d750d62.png](https://i-blog.csdnimg.cn/blog_migrate/08fadcf9e7ab94c92026838271dbcfa2.jpeg)
可以通过日期选择、省份或城市或地区选择来查看数据。
我们可以通过这个大数据地图来获取某省区多个日期的热门出行路线的数据,首先我们还是来做网站分析:
网站分析
很容易就能找到对应的数据,看起来应该是json格式数据
![acecd30572ea76c529615f598d13f965.png](https://i-blog.csdnimg.cn/blog_migrate/a6abf40b2812cb5ffb9d074fceb8e119.jpeg)
从查询字符串来看,有三个关键字:
- 区号:应该就是行政编码
- 日期:正常的日期格式
- size:应该是返回数据的行数
试抓
找到真实网址,做试抓取:
![7e31c4df338629ce62ad11f56bc62417.png](https://i-blog.csdnimg.cn/blog_migrate/52f1d5df71c471941659cab9c96ca643.jpeg)
抓取是这样的结果:
![591850e4cae80d4b6636de3b2dccbee3.png](https://i-blog.csdnimg.cn/blog_migrate/26c93dc612c02e3bd7505dabfd0e151c.jpeg)
没有任何表格可以选取,但是在web视图中又能显示出数据,就需要我们使用Web.BrowserContents函数来获取数据:
![e57d16e7b895983d6e57c4b8e1a696ea.png](https://i-blog.csdnimg.cn/blog_migrate/4866e52cb86b0769f5cd1b2f54ce7767.jpeg)
这样的数据不能直接识别为json,我们要提取出两个尖括号之间的数据:
![f99fc39ad122d161a9af202e2e01d874.png](https://i-blog.csdnimg.cn/blog_migrate/59307f0ebb264cb5d880cbebe6d799a5.jpeg)
这样就能识别为json:
![2ad302369301641cf9eef6199f323076.png](https://i-blog.csdnimg.cn/blog_migrate/5e4d72e5ddaf2425b63029c505ea0510.jpeg)
展开并整理:
![89fa1e7380363e4e1a14eba95ad6723a.png](https://i-blog.csdnimg.cn/blog_migrate/332dede29d099cd4b70a17bb22c465a7.jpeg)
定义函数
我们把上面的是抓过程定义成函数:
![4b276ac618e61473eae95729bebb7ba1.png](https://i-blog.csdnimg.cn/blog_migrate/046a9bed49b6b3c816c75cdb49d95bcf.jpeg)
两个参数,一个是行政编码,一个是日期,至于那个size我们可以直接手动修改,我直接改成200取200行。
测试一下这个函数能不能正常工作:
![abf9f0f65548214a230d33b750094cee.png](https://i-blog.csdnimg.cn/blog_migrate/4b21400aa4e3e60e51760f5272b2823e.jpeg)
吉林省2020年1月23日出行路线数据。
数据抓取
我们比较感兴趣的是今年十一假期的出行路线,今天是6号,我们只能抓取1日到5日的数据:
![e512883f54b43459b83fee5a50174c71.png](https://i-blog.csdnimg.cn/blog_migrate/d874982f067af0aaa7201172a9a693af.jpeg)
调用函数:
![9ccfe37006e78289a7c71c0137596890.png](https://i-blog.csdnimg.cn/blog_migrate/19d5037d12810a485c1e0748018c6118.jpeg)
展开数据:
![ed050e7cb98c733ffd691956b8bf54a7.png](https://i-blog.csdnimg.cn/blog_migrate/a3fe92f4469a995cfe6ba5470e0294da.jpeg)
在power BI Desktop中做出图表:10月5日辽宁省热门出行路线
![6ed38fa5712f4966ad96fe0a51af3ffb.png](https://i-blog.csdnimg.cn/blog_migrate/e6367c8747514a8c736e0b7133fdfaa7.jpeg)