《AI图像搜索引擎》笔记

《AI图像搜索引擎》笔记

第1章 从文本搜索到图像搜索

1.1 文本搜索引擎的发展

• 1998年斯坦福学生Larry Page和Sergey Brin创立Google
• PageRank算法极大提高了搜索结果相关性，几乎垄断了全球搜索引擎市场

1.2 文本搜索引擎的结构和实现

1. 文本预处理 = 分词（标点+去停词） + 语言处理（Stemming/Lemmatization）

   • 词干提取 eg. -tional -> -tion 词形还原 eg. reading -> read

2. 建立索引 = 生成词典 + 词语排序 + 生成文档倒排表

   • Node(Term, k) -> Node(Doc_1,freq_1) -> …… -> Node(Doc_k,freq_k)

3. 搜索 = 合并链表 + 增删节点

4. 相关性排序
   $$\begin{gathered} 词频率（TermFrequency,tf）:某一文档里的词频 \\ 文档频率（DocumentFrequency,df）:包含词语的文档个数 \\ 定义词语在文档中的权重:W_{t,d}=t{f}_{t,d}\times log(\frac{n}{d{f}_t}) \\ 将查询语句也看作一个小的文档 \\ \vec{q}=QryVector=(W_{q1},W_{q2},...,W_{qn}) \\ \vec{d}=DocVector=(W_{d1},W_{d2},...,W_{dn}) \\ Similarity(\vec{q},\vec{d})=cos(\vec{q},\vec{d}) \end{gathered}$$

1.3 搜索引擎的一般结构

1.4 从文本到图像

人工标注索引；以图查图；神经网络算法；AlexNet以84.7%正确率在ImageNet夺冠

Google 百度 TinEye 淘宝