前些时间用火车头采集豆瓣的资料,采得好好的昨天就无法采集了。朋友们都说换IP就可以采了,但是我换了IP采集了一条,又不能采了。所以今天我自己拿火车头设置了一下,没想到就可以正常的采集了。怎么采集设置请先看下面的图片吧。
在网页登录信息这里,设置一下自己的COOKIE,然后UA设置成用户本地IE浏览器,然后保存,搞定。
前些时间用火车头采集豆瓣的资料,采得好好的昨天就无法采集了。朋友们都说换IP就可以采了,但是我换了IP采集了一条,又不能采了。所以今天我自己拿火车头设置了一下,没想到就可以正常的采集了。怎么采集设置请先看下面的图片吧。
在网页登录信息这里,设置一下自己的COOKIE,然后UA设置成用户本地IE浏览器,然后保存,搞定。