“拖了”近一年的百度起诉360不正当竞争案终于尘埃落定,百度起诉360违反ROBOTS协议抓取和复制知道、百科等百度数据,索赔1亿元人民币的官司在去年10月开庭审理。因为ROBOTS协议复杂性导致此案一直悬而未决,今日一审判决结果为,360违反《反不正当竞争法》相关规定,赔偿百度70万元。法院同时驳回百度其他要求。这是中国首例ROBOTS协议纠纷诉讼,判决结果具有极强示范意义。这场官司历时一年才得以宣判,在于其存在两大症结:ROBOTS协议是否受到法律保护和UGC(用户创造内容)的数据所有权的争议。
法律尊重ROBOTS协议的行业规则
Robots协议是网站站长与搜索引擎之间共同讨论后形成,通过Robots.txt落地。网站站长用它决定对搜索引擎的开放程度,可指定哪些内容可以被搜索引擎抓取,哪些不可以;也可以指明对那个搜索引擎开放,或者对哪个不开放。
限制某个搜索引擎,Robots初衷是限制“BadRob”,即坏爬虫。所谓坏,是指存在安全或隐私问题,抑或太高频率爬取导致服务器压力。随着互联网竞争的加剧,ROBOTS俨然成为互联网竞争的工具。拥有数据的网站可以选择对竞争对手不开放数据,对合作伙伴则洞开大门。此前便曾发生淘宝限制百度ROBOTS、苏宁和京东限制淘宝一淘,以及最近的百度限制360搜索爬虫。在UC推出神马搜索之后,百度ROBOTS同样“例行性”地对其进行了屏蔽。
网站利用ROBOTS协议的出发点并不重要。尽管ROBOTS有违互联网开放和共享的精神,但一家商业公司利用行业公认的协议保护数据和利益,限制竞争对手,是正常不过的商业行为。问题在于,ROBOTS协议是行业规约,违反它只是契约问题,并没有明确的法律依据,执法部门在这一点上有着不少弹性。全球范围看,几例ROBOTS纠纷诉讼也有完全不同的判决结果。
在百度与360的官司中,法院并没有给予ROBOTS协议明确的法律地位,而是尊重了行业规则。法院认为,在本案中,原告(百度)网站在不知晓被告(360)提供搜索引擎服务的前提下没有将360加入ROBOTS白名单并无不当。在360推出搜索引擎双方争议升级时,在行政机关和行业协议积极接入调处,被告明确表示希望抓取原告内容的的前提下,百度并没有充分阐明如此设置ROBOTS的理由,又拒绝修改ROBOTS协议,因此其申请判令禁止被告抓取其内容的主张不应得到支持。
这意味着:1、如果ROBOTS没有充分理由而对搜索引擎进行限制,搜索引擎是可以绕开ROBOTS进行内容抓取的,这对搜索引擎来说,是好消息;2、ROBOTS协议本身是用来应对“BADROB”(坏爬虫),而不应该是恶性竞争。
UGC数据权利归属明确:平台拥有管理权
百度在04年做出一个重要决策,即构建自己的内容频道,先后推出了贴吧、知道和百科,这些频道产生的流量在整个中国互联网占据着相当可观的比例,是搜索引擎结果中不可或缺的内容。在Google、百度等搜索引擎结果中知道的问题、百科的词条出现的比例都非常之高。在搜索引擎纷纷进入知识图谱时代之后,自有内容更加重要,因为它们是图谱构建的核心数据。
搜狗、360纷纷推出自己的问答、百科这样的UGC内容频道。数据的积累需要时间,为了能够快速提升搜索体验和原始数据积累,360选择打“擦边球”违反ROBOTS协议对百度数据进行抓取和复制,这样做风险很小的原因是:网民创造的内容放在百度服务器上,擅自抓取的是网民的数据,而不是百度创造的。
本次官司意味着UGC内容的创建者是谁并不重要,搭建平台网站投入运营、技术和人力成本,拥有对数据的使用权和分发权。这是360被判赔70万的核心原因。法院认为,360在推出搜索引擎之初以及准备阶段,没有遵循行业内公认的、应当被遵循的商业道德,在初期没有遵循百度ROBOTS协议,行为明显不当,应当承担相应不利后果,民事赔偿经济损失费50万元,网站建设费20万元。
这意味着:1、互联网企业应该尊重行业内公认、应当被遵循的商业道德;2、UGC平台对其上的UGC内容拥有管理的权限,被抓取前有知情权,也可在理由充分时通过ROBOTS保护内容,拒绝被抓取。中国互联网在进入WEB2.0时代之后,利用众包力量产生内容已经成为主流。视频、文章、帖子、问答、百科、攻略……每个行业都有UGC巨头,它们的用户创造内容的权益保护有了前例可以遵循。
互联网行业尚在“规矩”时代
ROBOTS协议利用有违互联网的开放要义,将UGC数据据为己有,则违背了互联网的分享精神,互联网巨头则有裹挟用户和数据割据之嫌。360正是不服百度数据对所有搜索引擎都开放,却偏偏不对360爬虫开放的“制裁”,踩着灰色地带去破坏规矩——尚称不上法律。
在任何社会领域,如果既定规则并不合理,合适的处理方式有两种:要么循规蹈矩遵守它,要么推动规则改变。理论上来说没有完美的制度,从政治到商业到游戏均是如此。相关角色只有在遵循现有制度的情况之下,推动制度不断完善,才能确保整个系统正常运转。360破坏既有规矩,因此缴纳了70万元的学费。同时ROBOTS协议的初心是为了避免坏爬虫,而不是限制对手,百度无法将数据据为己有。
10多年来,互联网行业高速发展,配套制度建设很难跟上来。电商的税收和假货问题,视频的版权问题,网络内容的著作权,用户的隐私保护……都还处于亟待完善的阶段。互联网从业者只有遵守既定的行业规则,才可避免恶性竞争,避免拖慢互联网的发展进程。360和百度的官司结果,可以说是对百度和360都各打一大板,警示其他互联网企业应该遵守行业规则,良性竞争。
ROBOTS官司只是个案,它给互联网的数据归属和保护规则带来借鉴意义。随着互联网加速接管实体世界,配套制度正在、也必须尽快完善,因为规矩解决不了所有问题。
作者微博@互联网阿超,微信SuperSofter