- 博客(7)
- 收藏
- 关注
RSS订阅转载 25.ElasticSearch索引原理浅析（DocValues 和 Fielddata）
ElasticSearch使用的是倒排索引，既然是倒排索引，对应的肯定有正向索引，我们先来把这两个概念弄清楚正向索引正排索引表是以文档的ID为关键字，表中记录文档中每个字段的值信息，主要场景是通过查询id来把整条文档拿出来，一般mysql关系型数据库是这种方式来查询的正排表结构如下图所示这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护，当对I...
2020-01-08 15:54:07
522
原创 基于用户的协同过滤
通过用户对物品的喜爱程度进行度量和打分。根据不同用户对相同商品或内容的态度进行商品推荐。举例说明，每个行向量表示某个用户对所有电影的评分先把数据中心化然后计算用户 A 和其他用户的 Pearson 相关系数：可以发现用户 A 和用户 B 喜好接近，因此可以将 B 喜欢但 A 没看过的密室推荐给 A，同时也可以将 A 喜欢但 B 没看过的火焰杯推荐给 B...
2020-01-05 16:32:36
193
原创 基于物品的协同过滤
通过计算不同用户对于不同物品的评分，获得物品间的关系。基于物品间的关系对用户进行相似物品的推荐。举例说明，每一个行向量表示某个物品被各个用户的评分，先中心化如何预测用户 E 对 哈利波特的喜好程度？计算哈利波特和其他电影之间的 Pearson 相关系数选择相关性较大的其他电影，拿出用户 E 对这些电影的评分，利用 Pearson 相关系数做 weighted sum：...
2020-01-05 15:55:27
556
原创 皮尔逊相关度
皮尔逊相关度，实际上也是一种余弦相似度，不过先对向量做了中心化，向量 p 和 q 各自减去向量的均值后，再计算余弦相似度。皮尔逊相关度计算结果范围在 -1 到 1。-1 表示负相关，1 比表示正相关。皮尔逊相关度其实度量的是两个随机变量是不是在同增同减。如果同时对两个随机变量采样，当其中一个得到较大的值另一也较大，其中一个较小时另一个也较小时，这就是正相关，计算出来的相关度就接近1，这种...
2020-01-04 14:52:44
1461
原创 jaccard相似度算法
Jaccard index, 又称为Jaccard相似系数（Jaccard similarity coefficient）用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大，样本相似度越高。杰卡德相似系数两个集合A和B交集元素的个数在A、B并集中所占的比例，称为这两个集合的杰卡德系数，用符号 J(A,B) 表示。杰卡德相似系数是衡量两个集合相似度的一种指标（余弦距离也可以用来...
2020-01-04 11:59:53
11218
2
原创 余弦计算相似度度量
相似度度量（Similarity），即计算个体间的相似程度，相似度度量的值越小，说明个体间相似度越小，相似度的值越大说明个体差异越大。对于多个不同的文本或者短文本对话消息要来计算他们之间的相似度如何，一个好的做法就是将这些文本中词语，映射到向量空间，形成文本中文字和向量数据的映射关系，通过计算几个或者多个不同的向量的差异的大小，来计算文本的相似度。下面介绍一个详细成熟的向量空间余弦相似度方法计...
2020-01-03 15:41:30
620
原创 22.es 聚合数据分析
bucket: 一个数据分组city name 北京 小李 北京 小王 上海 小张 上海 小丽 上海 小陈 基于city划分buckets划分出两个bucket,一个是北京bucket,一个是上海bucket北京bucket: 包含2个人上海bucket: 包含3个人按照某个字段进行bucket划分,那个字段的值相同的哪些数据...
2020-01-02 17:18:36
681
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人