前几天在实验室里做的一个抓取微博的需求,无奈新浪微博防止机器人做得太变态,curl多次试验总无结果,在偶然一次浏览在线代理的时候想出了一个思路:
如果用php代理请求网页 会不会成功?
本地搭建了php proxy试了试:
成功请求到了页面 不过还是没有办法登陆,求大神帮助。
ps:这次使用代理给之前的很多问题提供了解决方案,之前很多没法抓取的网页现在都可以抓取了。
前几天在实验室里做的一个抓取微博的需求,无奈新浪微博防止机器人做得太变态,curl多次试验总无结果,在偶然一次浏览在线代理的时候想出了一个思路:
如果用php代理请求网页 会不会成功?
本地搭建了php proxy试了试:
成功请求到了页面 不过还是没有办法登陆,求大神帮助。
ps:这次使用代理给之前的很多问题提供了解决方案,之前很多没法抓取的网页现在都可以抓取了。