各大网站屏蔽搜索引擎抓取分析

2019独角兽企业重金招聘Python工程师标准>>>

   前面转载了一篇关于淘宝屏蔽百度的文章，但是那是其他人的看法，还是想发表一下

自己的看法，当然由于本人对屏蔽爬虫内幕了解不是很多，只是作为一个旁观者，发表 的观点可能存在错误性的认识，这里只是发表个人看法，表达可能不是很清晰，请谅解。 各大网站屏蔽搜索引擎抓取，在一定程度上可以看作是垂直搜索引擎与通用搜索引擎的 对抗，这种屏蔽我认为是通用搜索引擎没落的开始，当然，说没落不是代表以后不再使用 ，这里有点夸张。 首先作为一个互联网企业，像百度，搜狐等搜索引擎公司，面对搜索领域的竞争以及企业未来的发展，我认为仅仅提高搜索技术是不够的，一个互联网企业要想壮大，需要借助自己现有的优势，不断的向其他领域扩展，像腾讯帝国，借助qq的影响，不断扩张领域，包括腾讯游戏，商城等。转载的文章中提到百度排名的弊端以及带来的问题，我不认为这是主要的原因。个人认为主要的原因是淘宝是怕被百度“吞并”，举个例子，如果淘宝不再屏蔽百度的爬取，那么会有一部分人直接通过百度搜索来购买商品，通过百度搜索可以搜索到不同网站的商品，商品数量大，以及价格对比等优势，人们会越来越依赖于百度，而不再是淘宝。如果一个以前仅从淘宝上购买物品，现在如果通过百度搜索，通过商品对比以及价格的对比等诸多因素，那么这个人很有可能会选择从其他网站购买。一时间可能淘宝还在人们的心中存在一定的影响力，但是随着时间的推移，人们网上购物对淘宝/百度的依赖程度会发生潜移默化的变化，这样一来，淘宝势必走向衰落，说走向衰落你可能绝得夸张。也许你会说，虽然是通过百度搜索，但人们依然是在淘宝上购买的，是的，此时也许影响比较小。那么大家可以看看百度近些年的发展趋势，举个例子，以前如果你要搜pdf转word软件，百度会直接显示相关的软件，这些小软件没有可能是来自其他很多大型的软件下载网站，然而，现在百度也提供了pdf转word功能，而且在排名列表中处于第一的位置，可以确定的是其他软件的使用点击量已经少了不少。可以对比来看，其他的大型软件下载网站相当于淘宝等网站，pdf转word软件相当于淘宝上的商品，那么淘宝等网站的结果就不用说了。 个人认为通用搜索引擎与垂直搜索引擎的较量时间的长短与成败，在于垂直搜索邻域的坚持，成败不代表某一个就退出，而是代表流量的多少。

转载于:https://my.oschina.net/u/1040123/blog/125626