自然语言处理技术产品化

    【一段时间的磕磕碰碰，偶尔思索，偶尔躁动，依然难以找到一个可以完美说服自己的理由。彷徨在各种各样的自我设想的十字路口，本来清晰的视野也变得黯淡，所以还是要定期梳理一下自己的思绪。】
     随着各大互联网公司输入法的推出，这个原本“小家碧玉”般的产品也开始搬上“上层公司”的日常话题。在这个崇尚技术的年代，任何代表先进技术的产品都在有意无意地被日益放大，输入法当然就是最典型的例子。最初自然语言处理并没有被当作有效的技术引入输入法，机器学习也没成为现在这般盛行，只是因为其作为软件和用户交互的最常用品，起着微乎其微却又不可或缺的作用。
    现在搜索产品受到了前所未有的重视，市场竞争的火热程度也愈演愈烈。一如输入法，搜索在很大程度上和输入法的演变有近似之处。最初的最初，在没有引于更多先进技术的时候，搜索也同样存在于计算机世界的方方面面，只是人们并没有在意而已。
    语义搜索被称之为下一代搜索，已经越来越受到人们的关注，如一个叫做 Hakia的搜索引擎(已有beta本版)，关于其采用的相关技术在其实验室网站上有简要说明： http://labs.hakia.com/。另外，powerset试验室也声称其正在研发基于语义web的搜索引擎： http://www.powerset.com/，其试验产品需要注册并等待试用。从powerset blog零碎的技术介绍上大概可以看出其所谓的语义搜索引擎和现在基于关键词的搜索引擎的显著区别表现在两个方面，一是对于用户query进行语义结构化分析，同时通过机器学习的方法对于用户反馈进行处理，并辅助结果的排序；二是进行所谓的语义索引，除了这个名词本身外，未见文中有关于语义索引的任何进一步说明。但是 Hakia Lab的描述则进了一步，声称其搜索引擎是构建在四个主要的技术成就上： Ontological Semantics，本体语义学； Query Detection and Extraction (QDEX) ，query发现和抽取； SemanticRank ，语义rank算法； Dialogue 自动对话系统。其中QDEX技术用来从网页文本中发现和抽取可能的疑问模式，并对所有这写疑问模式进行索引，以便于对用户的输入进行精确的命中。


【待续】