搜索引擎的大数据时代

    近日百度和药监局达成战略合作,百度将使用药监局的的药品数据为人们提供用药相关的查询。百度为这批数据付出的代价并未提及。天下没有免费的午餐,药监局虽然是要造福于民,但是这批数据显然不会白给。这意味着搜索引擎为数据买单的时代已经到来。笔者今天想谈谈关于搜索和数据关系的一些看法。注意,大数据离我们太远,这不是谈大数据


    360与即刻此前已达成战略合作,共同运营食品安全和曝光栏栏目外,且360将与即刻共享药监局的数据。再前,360搜索引擎通过云云搜索接入了微博搜索结果,再之前,Google购买Twitter数据以提供Twitter搜索结果。


    谷歌不作恶,干的事情是“整合全球信息,使人人皆可访问并从中受益”和“加速信息流动”。百度简单可依赖,干的事情是“让人们最便捷地获取信息,找到所求”。不同的表示,搜索引擎本质却是一致的:帮助人们找到想要的信息。伴随着社会化和移动互联网的浪潮,网络上的数据爆炸式的增长。如何应对这些爆炸的数据,既是搜索引擎面临的挑战,也是搜索引擎们的机遇。


   1、越来越多的私有化的WEB化数据。

    电商网站、BBS、知乎问答、互动百科、豆瓣电影等内容便是属于此类。垂直网站在达到一定规模后,拥有与搜索引擎博弈的能力时,便可屏蔽搜索引擎的爬虫,将自己的数据“私有化“。垂直网站提供的搜索功能,可以用个性化的搜索功能和独有的挖掘能力,提供更好的搜索体验。甚至上升为垂直搜索引擎,如知乎搜索。另外一种垂直搜索引擎即是综合其他垂直的结构化数据,提供搜索服务,如去哪儿、一淘。


    笔者相信随着WEB的发展,垂直搜索是未来搜索引擎细分的一个方向,且将对传统搜索引擎构成威胁。类似手机上浏览器和原生APP之间的关系:浏览器和APP流量对半分。我们把传统搜索引擎如百度看成这一个浏览器,那么垂直搜索引擎便是APP。垂直搜索引擎也如APP一样正在滋长壮大。且他们具有的核心优势都是:个性化VS统一的优势。


    如果说WEB数据私有化使前面提到的“WEB化的信息,能抓取:不能抓取的约为1:500”这个比率发生变化。下面要谈的将影响“不到1%的信息WEB化”的1%。


    2、巨量增长的没有WEB化的数据。

    随着10多年的发展,PC互联网已积累大量的数据;而在移动互联网的浪潮下,APP、云应用、社交和物联网让数据爆炸式增长。对搜索引擎来说,这些数据几乎都是不可见的。


   人工整理的数据:


    药监局的数据就是例子。这类数据集中存在于政府部门、机构组织和一些企业手里。他们手里即掌握着民众关心的权威民生数据,又暂时没有将这些数据通过网站开放出来。与此类似的拥有数据的还有交通部门、环保部门、旅游局、卫生局、教育局等民众关注的各个领域。经过十多年的信息化建设,这些数据想必已经达到可观的量级。


    另外,“我查查”的条形码数据也可归为此类。我查查团队创业初期,数百人团队在全国商场收集商品条形码数据。我查查有一定规模后,用户才主动为其添加条形码数据。


    社交产生的数据:


    这里的社交网络不仅仅指微博或人人网。QQ聊天也是一种社交。邮件也是一种社交。虎嗅网也是一种社交。甚至短信通信也是一种社交。我们不妨将这称为“暗社交”。这些社交过程又产生了大量的信息,尤其是分享行为。一定程度上部分社交网站的数据是WEB化的,但是它们是封闭的。这部分数据正在巨量增长,而搜索引擎对他们无能为力。Facebook可以通过Graph Search搜索自己的数据,微博有微博搜索,人人的,以及“暗社交”的数据,谁来搜索?


    APP产生的数据:


    搜狗王小川曾经抛出过“WEB已死”的说法。移动互联网已经不再是由WEB通过超链接互相连接的网络。APP之间通过接口互相链接,APP上的不同用户通过QQ好友关系、微信圈、微博关注关系、手机号码等方式互相链接。而传统搜索引擎正是基于超链接的。带来的问题实际问题就是,搜素引擎如何搜索啪啪等APP的数据?


    个人云应用产生的数据:


    个人云应用主要是解决多屏同步的问题。这让更多用户选择将数据保存在云端。在不同设备上账号认证后下载并使用这些数据。这类应用除了同步通讯录、收藏夹这类私密性强的数据外,还有印象笔记、网易云阅读等类型的大文本数据。个人云应用将越来越多。若干年后,笔者认为OFFICE提供云同步功能也不是没可能。这些数据,搜索引擎无能为力。


    物联网产生的数据:


    车联网、监控录像、电子抄表、水文监测等物联网应用每时每刻也在产生大量的数据。这个行业还没爆发。爆发的时候,应用也不会局限与此。互联网链接网页,移动互联网链接天下芸芸众生,而物联网,链接天下万物。现在中国的手机用户数突破11亿。芸芸众生基本已连起来。不过相比11亿,物联网用户数则是一个惊人的量级。这些“用户”也将产生大量的数据。这些数据将来是否要被人类搜索,以什么形式搜索,搜索的结果是什么?


 

 

18134525_zBHb.jpg



转载于:https://my.oschina.net/u/1160813/blog/315504

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值