关于基于多媒体的搜索引擎开发的一些想法。

目前，说道搜索引擎，基本上都是基于文字的，就算是搜索mp3，也是通过歌名搜索，还是基于文字。如果我用一首《老鼠爱大米》 ，把名字换成《菊花台》，你还是有可能通过关键字“菊花台”搜索到这首《老鼠爱大米》。

你曾经有没有想过？希望能通过某一小块图像，能够搜索到这一小块图像是出自哪个更大的图片？例如说通过一双眼睛的特写，搜索到这双眼睛的主人的图片。有没有想过，通过15秒钟的某首歌的片断，找到这首歌的完整版？有没有想过，通过15秒的电影视频剪辑，找到整部电影的视频文件？

我现在拿图片搜索来谈谈我对于这种多媒体搜索引擎的一点想法。

首先，作为一个典型的搜索的过程，无非就是，提供关键字，点击搜索；搜索引擎在所保存的数据中，搜索关键字出现的地方，然后返回匹配的内容；搜索者看到结果列表。
而作为多媒体类型的搜索，也不会脱离这个模式，不同的是，提供的，不再是关键字(keywords)，而是“关键片断"(key clips)，搜索引擎也不是在文本数据中搜索，而是在图片，声音和视频中搜索，返回的同样还是列表。
但是这一切，抽象起来很容易，具体起来，就难以实现了。
如果某个关键片断，是完全从某一个同格式、同编码方式的文件中截取出来的，那么在原文件中应该很容易搜索到这个片断。但是，如果是不同格式、不同编码方式的内容呢？如，在一个JPEG图片中搜索某个BMP格式的图片片断，肯定是搜索不到的。

但是，如果能使用相同的编码方式（基于文本的编码方式就是文本），那搜索会容易的多，但是，想让多媒体格式或编码方式统一，比统一全世界还难。
唯一的办法，只有搜索引擎自身，将各种格式的关键字和资源，转换成方便搜索的统一格式，这是可行的，而最方便图形搜索的格式(我暂时称之为” 统一图形编码“， uniformed encoding for image)，我想应该是基于 像素+颜色表示的编码吧，如果图片都可以转成这种编码方式，那么搜索引擎会将资源都转成这种格式，并建立索引；当用户搜索时，首先，将key clips也转换成这种代码，由于这种编码的单位为像素，每个单位的属性为颜色，如RGB颜色，所以， 横向连续的像素，在编码中也肯定是连续的；那么，首先在资源中，横线搜索key clip中的第一行像素，如果有匹配了，再在匹配的这一点开始，往下一行一行的检查匹配，如果将key clip都匹配到了，这标记这条记录为匹配记录，然后再以同样方法搜索其他资源。
当然，要考虑转码时对图片造成的损耗，还要考虑搜索本身就具有的一定的模糊性，甚至是用户在搜索时自己指定的模糊程度，根据这些因素，在检查匹配时，必须要通过一定的算法，进行模糊匹配，但是又不能太过于模糊而导致搜索的不准确，这个模糊程度的掌握，相信只有在不断实际运用中间才会渐渐的趋于最佳点。
根据以上所说，那么搜索引擎要做的就是：机器人去各个网页，去查找图片，并保存到服务器上，并将转为 统一图形编码，并建立索引；当有搜索请求提交过来，首先把KEY CLIP也转成统一图形编码，然后取出第一像素行的编码，并在资源中进行检索，当第一行有匹配时，在取出Key Clip的第二像素行的统一图形编码，在刚才第一行匹配的资源的相应位置，匹配下一行，这样一直匹配下去......。
当然，以上所找出的匹配，肯定是同样大小的片断，如果要变换大小或者比例，那么整个搜索复杂度，会极大的提高。如果以上方法的搜索复杂度为n，已经是很复杂的了，那么如果要考虑变换大小或比例的话，假设有x种变化方式，那么复杂度就会是n的x次方。难以想象…………，但是也许会有更优化的算法也说不定。

上面说的是对图像的搜索，而对于声音，其实也是同样的道理，不管是mp3,wma还是wav,midi，都可以转换成统一的一种编码方式，而对于声音来说，最基本的编码方式就是以”某一时间声音的瞬时频率和振幅“这种方式了吧。如，第一毫秒，频率是300Hz，声音大小是n；第一毫秒，频率是400Hz，声音大小是m………………。并将这种编码以二进制的方式建立索引，将key clip也同样转成这种编码，进行搜索，应该也可以实现 。而对于视频，应该也可以找出相应的"统一编码方式"。扩展开来，甚至是气味，味道，触觉甚至脑电波进行相应的统一编码。只要计算机够强大，任何信息应该都是可以被搜索的。

我才入行不足2年，所以文章中不免会有很多疏漏，有的想法也不免幼稚，还请大家多参与讨论，提出一些自己的想法。