一些有趣的Robots协议

已经许久不在csdn上活跃了,对markdown语法也生疏了许多,不管怎样,自己学习编程语言有了一些新的进展,近期可以考虑分享上来
C语言做了一个窗口式的《炉石战棋整活器》,原理其实简单易懂,就是利用win10的防火墙来实现的短暂断网,详情我们以后再说。
Python做了一个五子棋的记牌器,原理就是在某方棋子三连时发出提示,很简陋,但还蛮好玩的,具体我会专门发帖来描述。

回归正题,在被高数虐了好久,利用Python爬虫中的小知识来看看一些网站robots协议内容,
1.京东的Robots协议
网址:https://jd.com/robots.txt
内容:

可以看到京东主要禁止掉了一些【我查查】,【易淘】等比价类软件网站的爬虫。
2.百度的Robots协议
网址:
https://www.baidu.com/robots.txt
内容:
在这里插入图片描述
在这里插入图片描述
百度ban掉的就比较多,主要是一些google,sugou同类软件的爬虫

3.Nike的Robots协议【也是我见到的第一个有彩蛋的】
网址:https://www.nike.com/robots.txt
内容:
在这里插入图片描述
第一句,just crawl it来爬啊,可以说有点东西
在这里插入图片描述
也ban掉一些搜索引擎的爬虫
在这里插入图片描述
还放一个Nike的logo可以说秀的一匹

文章最后希望各位伙伴有什么网站的robots协议也很有趣,内含彩蛋,可以分享评论哦。

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值