window.location.href不打开新窗口_嘿,这条微博值得一看:不登录如何访问页面

be639df0fbbb9fe3a1bdc3c4f2bc84af.png

简单解释一下:有些网站需要登录才能浏览里面的页面,但搜索引擎的爬虫不需要登录也可以访问,所以你只要简单设置一下浏览器,让这个网站以为你就是那只搜索引擎的爬虫就可以了。

设置方法:

  • 打开 Chrome 浏览器;

  • 进入开发者工具:macOS 下的快捷键是 cmd  option  i,Win 看上面的微博截图;

  • 点开发者工具右上角的 4 个小圆点,打开一个新菜单(看下图),这是 macOS 的操作方法,win 看上面的截图;

  • 再点 more tools,再点 network conditions,你会看到一个新的窗口;

  • 最后勾选新窗口里的 disable cache,然后把 user agent 更改为 Googlebot,也就是让这个网站以为你是 Google 搜索的爬虫。

7e1720bf1d8cc0adf97d61b79ffe7f6d.png

eded2c3ebbf988f7d9f8d33a8b9de187.png

这样设置只适用于当前网站,当你打开其他网站,或者关了当前网站,这个设置会自动恢复为默认值,如需使用要重新设置。

tombkeeper 提供了另一种全局设置的方法,请参考:

3f7acfb2762675b10b2e515b0ab79346.png

有些网站不对游客开放,需要注册登录之后才能访问,通过把自己伪装成搜索引擎爬虫,我们就能正常访问这些页面了。当然啦,这个方法只适用于部分网站,还有很多网站即使对爬虫也不开放。

微信公众号:科技微讯

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值