需要注意的是,未经允许的爬虫行为可能违反网站的使用条款或法律法规。在进行网页爬取之前,建议先查看网站的Robots.txt文件以及相关的使用条款,并确保你的爬虫行为合法合规。
查看网站的Robots.txt文件,可以按照以下步骤进行:
1. 打开任意一个浏览器,进入要查看Robots.txt文件的网站。
2. 在网站的URL后面添加/robots.txt,例如:https://www.traveldaily.cn/robots.txt
3. 按下Enter键或者点击浏览器的前往按钮。
4. 浏览器会显示Robots.txt文件的内容,如果网站允许查看的话。
请注意,不是所有的网站都允许查看Robots.txt文件,有些网站可能会禁止公开访问。
Robots.txt文件:
https://www.traveldaily.cn/robots.txt
User-agent: *
Allow: /
Sitemap: https://www.traveldaily.cn/express.xml
Sitemap: https://www.traveldaily.cn/lastest.xml
Sitemap: https://www.traveldaily.cn/sitemap1.xml
Sitemap: https://www.traveldaily.cn/sitemap2.xml
Sitemap: https://www.traveldaily.cn/sitemap3.xml
Sitemap: https://www.traveldaily.cn/sitemap4.xml
用于指示搜索引擎爬虫访问网站的规则。在这个例子中,"User-agent: *"表示所有搜索引擎爬虫都适用以下规则。"Allow: /"表示允许爬虫访问网站的所有内容。
接下来是一系列的Sitemap指令,用于告诉搜索引擎网站的XML Sitemap文件的位置。Sitemap文件包含了网站的页面URL和其他相关信息,帮助搜索引擎更好地索引网站。在这个例子中,指定了五个Sitemap文件的位置。
总结起来,这个robots.txt文件告诉搜索引擎爬虫可以访问网站的所有内容,并提供了五个Sitemap文件的位置供搜索引擎索引网站。
https://hotels.ctrip.com/robots.txt
User-agent: Baiduspider
Disallow: /hotels/listPage?*
Disallow: /hotels/*?hotelId=
Disallow: /hotels/*-hotel-detail-*/
Disallow: /hotels/*-hotels-list-*/
Disallow: /*?*
Disallow: /hotels/*.html?*
Disallow: /flagship/*
Allow: /flagship/*/*.html
Allow: /hotels/*.html
Allow: /hotel/*
Allow: /brand/*
- User-agent: Baiduspider 表示该规则适用于百度搜索引擎的爬虫。
- Disallow: /hotels/listPage?* 表示不允许爬虫访问形如/hotels/listPage?xxx的页面。
- Disallow: /hotels/*?hotelId= 表示不允许爬虫访问形如/hotels/xxx?hotelId=xxx的页面。
- Disallow: /hotels/-hotel-detail- 表示不允许爬虫访问形如/hotels/xxx-hotel-detail-xxx的页面。
- Disallow: /hotels/-hotels-list- 表示不允许爬虫访问形如/hotels/xxx-hotels-list-xxx的页面。
- Disallow: /? 表示不允许爬虫访问任意带有问号的页面。
- Disallow: /hotels/.html? 表示不允许爬虫访问形如/hotels/xxx.html?xxx的页面。
- Disallow: /flagship/* 表示不允许爬虫访问形如/flagship/xxx的页面。
- Allow: /flagship//.html 表示允许爬虫访问形如/flagship/xxx/xxx.html的页面。
- Allow: /hotels/*.html 表示允许爬虫访问形如/hotels/xxx.html的页面。
- Allow: /hotel/* 表示允许爬虫访问形如/hotel/xxx的页面。
- Allow: /brand/* 表示允许爬虫访问形如/brand/xxx的页面。