从地图抓取小区边界经纬度

某德地图会返回假数据,并不是封你IP的策略,一定要注意,有可能也会封,但是我爬的时候,间隔比较长。2、3秒。

最后还是用的代理,单机无法完成任务,量比较大。

后来根据算法识别出,爬取的这个点是不是真实的数据,有两种方法:

其一:判断抓取的连续的经纬度点,是否有锐角,有几个,在真实的数据中很少有图形是锐角的,这种方法,有可能会有误伤。

其二:在抓去之后,会有一个area的字段,你可以根据求经纬度的面积,来和这个area来判断是否是真数据。

比如下面两条数据:第一条为假数据

data= "116.152617,39.72162;116.146973,39.720254;116.152756,39.718961;116.152433,39.720468;116.15498,39.714614;116.147067,39.722572;116.14975,39.721332;116.147661,39.721625;116.152617,39.72162"

真实的数据是这个样子的:

data = "116.150227,39.71689;116.150143,39.716904;116.150096,39.716961;116.150103,39.718018;116.15013,39.718084;116.150177,39.718112;116.15196,39.718132;116.151971,39.716895;116.150227,39.71689"

很明显是不一样的。

而且在爬取的过程中,需要将头信息补充好,然后利用代理IP进行批量的抓取。

评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想做个自由的人

随缘吧打赏与否还是会坚持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值