给常用的爬虫用的robot.txt

最新推荐文章于 2023-11-14 23:52:09 发布
最新推荐文章于 2023-11-14 23:52:09 发布
阅读量342 收藏
点赞数
文章标签： 爬虫 php java
原文链接：https://my.oschina.net/dwbin/blog/176262
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

User-agent: Baiduspider
Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: Googlebot
Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: 360Spider

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$


User-agent: msnbot

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: Sosospider

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: YoudaoBot

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
root@ubuntu:/var/www# cat robots.txt 
User-agent: Baiduspider
Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: Googlebot
Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: 360Spider

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$


User-agent: msnbot

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: Sosospider

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: YoudaoBot

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

User-agent: bingbot 

Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$


User-agent: Sogou web spider/4.0
Allow: /
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$


User-agent: *
Disallow: /
这个是因为今天有个兄弟问我一个类似的问题，所以分享出来。希望对大家有帮助。

转载于:https://my.oschina.net/dwbin/blog/176262

weixin_34194317
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
资源大师v1.0.9 集合多种常见资源本地爬虫工具.txt打包整理.zip
03-05
资源大师v1.0.9 集合多种常见资源本地爬虫工具.txt打包整理.zip
Robots.txt 的妙用
zhouchangshun_666的博客
08-10 3543
1）什么是Robots.txt？ Robots.txt是一个文本文件，关键是这个文件所在的位置：在网站的根目录下。弄错了，就不起作用了！ 2）Robots.txt如何起作用? 前面提到过搜索引擎的自动提取信息会遵循一定的算法，但是，无论算法如何，第一步都是在寻找这个文件。其含义是，“贵站对我们这些Robots有什么限制？”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应（没...
反开源爬虫 robot.txt
weixin_42660202的博客
05-08 1080
搜索引擎通过一种程序“蜘蛛”（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过robots.txt指定使搜索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是robots.txt。 百度百科 --ro...
[爬虫]2.4.1 robots.txt文件的作用
Andy0214的专栏
07-22 6772
robots.txt是一个简单的文本文件，网站管理员通过它来告诉搜索引擎（或其他网络爬虫）哪些页面可以抓取，哪些页面不能抓取。这个文件通常放在网站的根目录下。
robots.txt
AdolfTianYuan的专栏
04-03 775
来自百度百科 robot.txt 求助编辑百科名片 搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜 索引擎只收录指定的内容。
帝国CMS中robots.txt文件用法
09-29
在帝国CMS中，`robots.txt`文件是一个至关重要的元素，它用于指导搜索引擎爬虫如何抓取网站的内容。本文将详细探讨`robots.txt`文件的原理、作用以及在帝国CMS中的具体应用。 **robots协议的原理** `robots协议`，...
曹鹏SEO视频教程-53.robot.txt.rar
07-09
在描述中提及的"robot.txt"是网站与搜索引擎爬虫之间的一种协议，它告诉爬虫哪些页面可以抓取，哪些应被禁止。这个文件对于网站运营至关重要，因为它能够帮助管理搜索引擎的索引，避免敏感或未完成的内容被公开。在...
一个web爬虫的事例.txt
12-18
Robot协议在Web站点的根目录下设置一个robots.txt文件, * 规定站点上的哪些页面是限制搜索的。 * 搜索程序应该在搜索过程中跳过这些区域,下面是robots.txt的一个例子: * # robots.txt for ...
douban-robot:豆瓣爬虫
05-15
【标题】：“douban-robot:豆瓣爬虫” 【描述】：“douban-robot是一个专门用于抓取豆瓣网站信息的爬虫程序。在实际使用过程中，可能会遇到403 Forbidden的问题，这通常是因为网站对频繁访问进行了限制。解决这个...
解析网络爬虫技术原理.pdf
10-12
爬虫在爬取网络数据的过程中，需要遵循 Robot.txt 协议，并明确网页中爬虫可爬取数据和禁止爬取数据。 网络爬虫技术的应用包括数据采集系统的设计和采集系统模型设计。在数据采集系统的设计过程中，以可行、健壮、...
puppeteer-robot:使用puppeteer库的简单程序
05-23
木偶机器人 一个使用简单程序。 该程序使谷歌搜索城市自动进行，以收集有关天气的信息，然后显示数据。 创建此应用程序是为了发展新技能或只是为了练习 终端命令 npm install安装所有依赖项 npm run dev运行应用程序（nodemon和lite-server）
Python 爬虫的合法性 - robots.txt
qq_42815050的博客
08-21 1436
1. 爬虫的合法性 - robots.txt 网站都有一个名为 robots.txt 的文档，当然也有部分网站没有设定 robots.txt。 robot.txt是网站写给爬虫看的，里面写了不希望爬虫做的事，如不要访问某些文件夹或文件，或限制爬虫访问网站的频率 对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断这个网站有哪些数据是不能去爬取的 1.1 查看robot.txt 根域名/robo
爬虫之——Robots协议
小西瓜的博客
04-21 464
Robots协议 （Robots Exclusion Standard：网络爬虫排除标准） 一、介绍 1.作用：网页告知爬虫哪些能爬取，哪些不能 网站限制爬虫的方法： 审查来源； 通过robots协议来告知。 形式*：存储在网站根目录下的robots.txt文件中。 2.Robots协议的基本语法 User-agent: * Disaloow: / 3.一些Robots协议的链接 http...
编写简单Robot.txt
weixin_33905756的博客
04-26 234
2019独角兽企业重金招聘Python工程师标准>>> ...
爬虫----robots.txt 协议简介
最新发布
redrose2100的博客
11-14 1602
是一个用于指示网络爬虫（web spider或web robot）如何与网站上的内容进行交互的协议。这个文件被网站管理员放置在网站的根目录下，用于告知爬虫哪些部分的网站是可以被抓取的，哪些是不被允许的。文件是网络爬虫和网站管理员之间沟通的一个重要工具，但它的使用需要谨慎，以确保不会无意中阻止了重要内容的索引，或者暴露了不应该被公开访问的资源。文件允许网站管理员定义哪些内容可以被爬虫访问，哪些不可以。可以用来避免搜索引擎索引某些不重要的页面，从而帮助提高网站的相关页面在搜索结果中的可见度。
CTF-web安全解题事项
zerolea的博客
03-22 5239
Robots协议： robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 直接在网址后面加后缀： /robots.txt 二、文件备份: 常见的备份文件后缀名有: .git .svn .swp .svn .~ .bak .bash_history 如：index...
瓢虫CTF考核题
m0_72827793的博客
11-02 283
两道web考核题
VUE项目添加robots.txt
起名真的烦
05-07 4284
将robots.txt文件添加到vue项目static文件夹下 打开build/webpack.prod.conf.js文件，定位到 new CopyWebpackPlugin([ { from: path.resolve(__dirname, '../static'), to: config.build.assetsSubDirectory, ignore:...
robot.txt文件
07-27
robots.txt文件是一个位于网站根目录下的文本文件，用于向搜索引擎爬虫指示哪些页面可以被抓取和索引，哪些页面不允许被抓取和索引。网站管理员可以通过编辑robots.txt文件来控制搜索引擎爬虫的访问权限。 在robots...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值