本文是观看了小象学院《大数据应用中的算法如何创造商业价值》,现在做一下梳理
问题:当当网中”最佳拍档”中的关联规则算法
对于解决一个实际的问题,我们看一下一般的思路流程是什么样的
1. 目前的关联规则是什么的
2. 问题发现和分析:现在的方法有什么问题
3. 效果空间预估:理想情况下,这个问题通过某种解决方法,可以达到的效果什么
4. 算法改进:基于上面的理想效果,我们如何通过算法的改进朝着这个目标迈进
5. 效果衡量:对算法的改进效果做评估,没有评估就像算法缺乏目标函数一样
6. ROI分析:实际结果的分析
我们一步一步的看这个问题
传统的关联规则是什么样的
1. 关联规则在介绍数据挖掘中的图书中一般都会介绍,主要涉及到两个概念
例如有两个物品A、B,那么A、B的
支持度是一个联合概率的概念,指的是A、B出现的概率,也即A、B同时出现的次数除以总的次数
置信度是一个条件概率的概念,指的是例如A出现时,B出现的概率
2. 问题发现和分析现在的关联规则是有问题的,主要有四个问题
(1)支持度计数的选取的问题
我们要对支持度计数大于某个阈值K的商品计算支持度,置信度还有后续的操作,那么K值的选取就是一个重要的问题,如果K值较小,那么将会有大量的数据参与运算,势必会对算法的实际实现有更大的挑战,如果K值的选取比较大,那么将会造成某些商品的推荐商品太少的问题,所以K值的选取是一个比较大的问题