[CTO札记]Cloud Computing实例：搜狗云输入法

说起Cloud Computing，似乎总给人一种‘宠大无比’的感觉，但我认为并非如此。

如果你能以互联网为中心，将WEB上的某种业务资源聚集到一起，再快速反馈给用户，就构建了一个Cloud的计算/业务模型。

 

之前的‘云安全（杀毒）’是如此，最近的‘云输入法’也如此。

我想象中的文字标记（发音、语调）也可以往这个方向发展，希望这能给SDI的同事一些启发。

 

----------------下面转载一篇关于‘搜狗云输入法’的文章--------------------------------------------

作者：小焱发表时间：2009年11月11日

随着云计算，云安全等一系列带“云”字的时髦网络词汇相继闯入我们的生活后，输入法这个看似貌不起眼的小软件也坐不住了，最近，搜狐公司旗下的搜狗推出了云时代的输入法：搜狗云输入法！

搜狗输入法作为一款成功的互联网软件，其核心优势在于其强大的互联网词库、精准的智能组词算法，两者的结合让用户输入命中率达到91%以上的空前水平，然而，即便如此，用户的输入仍未达到尽善尽美的地步，剩下的不到9%的输入，是否已经成为现有输入技术的瓶颈了呢，是否搜狗就只能止步于此了呢？
答案是否定的，云计算给出了另一种可能。

云计算是一个新兴的商业计算模型。利用高速互联网的传输能力，将数据的处理过程从个人计算机或服务器移到互联网上的计算机集群中。这些计算机是普通的工业标准服务器，由一个大型的数据处理中心管理，数据处理中心按用户的需要分配资源，达到与超级计算机同样的效果。

“云”，既是对那些网状分布的计算机的比喻，也指代数据的计算过程被隐匿起来，由服务器按你的需要，从大云中“雕刻”出你所需要的那一朵，实在是非常浪漫的比喻。
搜狗云输入法就诞生于这样的一个“云”时代。

搜狗云输入法是什么？

顾名思义，云输入法即通过网络来进行使用的输入法，其使用界面和现在的搜狗没有太大差别，但是（其实现在的云输入法本身的表现也是一个网页）与一般输入法最明显的区别在于，没有安装包，没有本地输入法文件，完全靠服务器支持，这就像互联网上的一个网站，只要打开了就能享受到你所想要的服务——搜狗云输入法，正是“云计算”的雏形。

一直以来，桌面输入法需要考虑到用户机器性能，用户下载成本等多种因素，因此桌面输入法的特点是：小而精。小的意思是，语言模型的信息量尽量的小，以减小用户安装包的大小和保证用户输入时的音字转换效率；精的意思是，桌面输入法从用户的常用性角度上做了很大优化，因此即使再小，用户相对比较常用的短句（用户输入数在8左右）基本可以保证正确无误的输出。但是当用户的输入不很常见的时候，比如很多专业长句，文言文文章的时候，那么桌面输入法就不能带给用户很好的体验了。
所以，为了突破这种限制，搜狗云输入法应运而生，把大部分工作量从客户端桌面转移到服务器，由服务器来为用户提供最好的体验。

搜狗云输入法怎么用？

正如我们上面所说的，无须下载、安装和升级。目前为止你只需要打开你的浏览器，通过添加一个小小链接，就能够使用搜狗云输入法——在任何你打开的网页。
首先是把云输入法的链接加入浏览器的收藏。这就和添加一个普通的网站链接一样简单。为了您更方便地使用，推荐把这个收藏的链接安排在可以直接看到、方便点击的地方，这样，您就有了一个云输入法的“启动按钮”。

然后可以立即在任何您想输入的网页内，用“启动按钮”，切出搜狗云输入法！
几步简单的操作，就可以使用最“方便”、“绿色”的输入法——搜狗云输入法

搜狗云输入法是如何实现的？

简单的使用方法，不简单的技术含量——搜狗云输入法在硬件和软件上都突破了桌面输入法方面的限制。

云输入法计算存储平台都是内存巨大计算能力强大的服务器，因此其存储的词库和语言模型库从理论上可以无限大（目前我们的语言模型库是2G，桌面模型库只有15M，词库上我们目前规模是200w，而桌面词库规模是不到40w，下一步我们也会把更多的可信任专业词库加入云输入法词库中）；同时由于计算能力强大，为了让计算结果更准确，我们在云输入法中采用了3元语言模型和带有语义特点的trigger模型，未来如果有需要，可以采用更长的4元以及5元模型。在单台服务器的基础上，我们进一步会同时部署多台服务器，并且考虑负载均衡等各种服务器协作的原则，这其实已经具有了云计算的特点。

搜狗云输入法给我们带来什么？

减少用户时间成本，让下载、安装、升级的琐碎事情均被一笔勾销；
减少用户本地资源的消耗，让普通硬件水平的用户也享受到强大的搜狗输入法的服务，无存储之忧，无性能之患；
让我们来看看搜狗云输入法将向用户展现的自然语言计算处理能力，是如何强大。
因此与桌面输入法相对，云输入法的特点是大而全，同时可以再加一个字“准”。桌面输入法可以计算出来的全部准确结果，只是云输入法的一个很小的子集。
从评测上，新闻长句评测集合在桌面输入法上首选率只有60%，而在云输入法上可以达到80%，并且不能首选的那部分case有一半从语义上完全可以接受（语义正确率大概可以到90%）；用户短句的云输入法首选率在96%左右，桌面输入法只有不到93%；用户短句的云输入法候选率在99%以上，桌面输入法只有不到94%。
同时，桌面输入法几乎不可能通过组词输出的某些句子，云输入法都可以做到，比如孙子兵法中的句子“夫兵形象水，水之行避高而趋下，兵之形避实而击虚；水因地而制流，兵因敌而制胜。故兵无常势水无常形。能因敌变化而取胜者谓之神”，或者皇帝内经中的句子“余闻上古之人，春秋皆度百岁，而动作不衰，皆谓之虚邪贼风避之有时，是以嗜欲不能劳其目，淫邪不能惑其心”等，都是通过三元组词模型做到的。可见云输入法组词计算能力何等的强大。
从表现上，我们的云输入法没有对客户端做任何限制，只是指定了一种网页通信方式，在这种网页通信方式下，任何第三方操作系统，软件或者通信硬件，都可以通过直接和我们的云输入法相通信得到其想要的计算结果，这样进一步增进了我们“云计算”的特质，（也可以作为一种商业模式）。

搜狗云输入法代表了什么？

云输入法之所以能做到如此的大，全，准，靠的是搜狗强大的技术实力。
我们通过搜索引擎抓取训练语料，当前训练语料的规模是上百G的文字语料；
我们通过精准的分词技术对句子进行精确拆分，以构建准确的语言模型库；
我们通过强大的滤噪能力把语料中的错误去除，以优化我们候选项的质量；
我们依靠多年来在桌面输入法上累积起来的成功经验进一步优化云输入法的计算品质。

总之，搜狗云输入法是一个搜索引擎和自然语言处理的集大成者，具有云计算的特点，代表了未来技术发展的方向。

不知道后面还会出现什么带“云”字的产品，云QQ？云OFFICE？云影音播放？……看来，互联网真的要把我们全面带入云时代了

搜狗云输入法官方地址http://pinyin.sogou.com/cloud/

===== by 鬼谷子@魔教，更多内容在 http://DavyYew.BlogBus.com ======