会议总结---12.2

由于周一晚上开会回来就玩起来了？我也忘了。。。昨天上午做数字逻辑作业，下午上了节英语课去洗澡，完了之后还学习pandas数据分析库。8.40又去开会就没有时间写，今早就起来写，虽然我现在主攻方向是图像识别，但以后做不做推荐系统就不一定了，而且这些方法都是相通的，学到了就是自己的，以后可能用得上。

关于推荐系统：

基于用户评论的注意力协同机制，有效地解决兴趣漂移和冷启动问题。

UI用户相关矩阵

概率矩阵

fm分解机

BOW归一化处理：

最初的Bag of words，也叫做“词袋”，在信息检索中，Bag of words model假定对于一个文本，忽略其词序和语法，句法，将其仅仅看做是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词 是否出现，或者说当这篇文章的作者在任意一个位置选择一个词汇都不受前面句子的影响而独立选择的。

Bag-of-words模型是信息检索领域常用的文档表示方法。在信息检索中，BOW模型假定对于一个文档，忽略它的单词顺序和语法、句法等要素，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的，不依赖于其它单词是否出现。也就是说，文档中任意一个位置出现的任何单词，都不受该文档语意影响而独立选择的。

    向量中每个元素表示词典中相关元素在文档中出现的次数(下文中，将用单词的直方图表示)。不过，在构造文档向量的过程中可以看到，我们并没有表达单词在原来句子中出现的次序（这是本Bag-of-words模型的缺点之一，不过瑕不掩瑜甚至在此处无关紧要）。

   考虑将Bag-of-words模型应用于图像表示。为了表示一幅图像，我们可以将图像看作文档，即若干个“视觉词汇”的集合，同样的，视觉词汇相互之间没有顺序。

由于图像中的词汇不像文本文档中的那样是现成的，我们需要首先从图像中提取出相互独立的视觉词汇，这通常需要经过三个步骤：

（1）特征检测

（2）特征表示

（3）单词本的生成，

总结一下如何利用Bag-of-words模型将一幅图像表示成为数值向量：

• 第一步：利用SIFT算法从不同类别的图像中提取视觉词汇向量，这些向量代表的是图像中局部不变的特征点；

• 第二步：将所有特征点向量集合到一块，利用K-Means算法合并词义相近的视觉词汇，构造一个包含K个词汇的单词表；

• 第三步：统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个K维数值向量。

具体的，假设有5类图像，每一类中有10幅图像，这样首先对每一幅图像划分成patch（可以是刚性分割也可以是像SIFT基于关键点检测的），这样，每一个图像就由很多个patch表示，每一个patch用一个特征向量来表示，咱就假设用Sift表示的，一幅图像可能会有成百上千个patch，每一个patch特征向量的维数128。

 

接下来就要进行构建Bag of words模型了，假设Dictionary词典的Size为100，即有100个词。那么咱们可以用K-means算法对所有的patch进行聚类，k=100，我们知道，等k-means收敛时，我们也得到了每一个cluster最后的质心，那么这100个质心（维数128）就是词典里德100个词了，词典构建完毕。

词典构建完了怎么用呢？是这样的，先初始化一个100个bin的初始值为0的直方图h。每一幅图像不是有很多patch么？我们就再次计算这些patch和和每一个质心的距离，看看每一个patch离哪一个质心最近，那么直方图h中相对应的bin就加1，然后计算完这幅图像所有的patches之后，就得到了一个bin=100的直方图，然后进行归一化，用这个100维德向量来表示这幅图像。对所有图像计算完成之后，就可以进行分类聚类训练预测之类的了。

图像的特征用到了Dense Sift，通过Bag of Words词袋模型进行描述，当然一般来说是用训练集的来构建词典，因为我们还没有测试集呢。虽然测试集是你拿来测试的，但是实际应用中谁知道测试的图片是啥，所以构建BoW词典我这里也只用训练集。

用BoW描述完图像之后，指的是将训练集以及测试集的图像都用BoW模型描述了，就可以用SVM训练分类模型进行分类了。

在这里除了用SVM的RBF核，还自己定义了一种核： histogram intersection kernel，直方图正交核。因为很多论文说这个核好，并且实验结果很显然。能从理论上证明一下么？通过自定义核也可以了解怎么使用自定义核来用SVM进行分类。

哈马达积：

soft-max被Gumbel-max替代

可求导性、离散

多指针---两个向量列表--拼接

从one-hot到word-embedding

从本体，01编码到语义加减法，语义理解，单设，不能丢失信息

（通过标签，用神经网络训练）

 

ES、BES

同质性，结构性

BFS，一圈一圈寻找

DFS，一个方向进行寻找，不符合返回 

iterm2vec

user2vec

多头注意力机制：

归一化，放在同一基下

无量纲··· 

基于指针的attention

长短器 

 

 

 

该去上学了。。。以后再补充完整