骚铭科技SM-Tech!

决策树最近研读了机器学习（周志华）的第四章决策树，在此做点小笔记。基本概念决策树，顾名思义，就是一棵用于做决策的树，其实我觉得就是个分类器。生成一棵决策树的基本思路很简单，用贪婪的方法不断降低分类对象的混乱度，或者说不断提高纯度(purity)。用来度量混乱度或纯度的方法有很多，其中比较经典和简单的方法是信息熵， Entropy(t)=−∑k=1|Y|pklog2pkEntropy(t) = -\

基本方法Neighborhood-based item-itemModel-based 矩阵分解针对隐式反馈的矩阵分解方法评估指标ErrorPercentile-rankHit Radio at NN or HRNN工具参考资料基本方法1 Neighborhood-based (item-item)参考文献：Item-based Collaborative Filtering Re

k-means 算法因为简单易实现，所以有许多应用。其中一个有意思是应用于有损图像压缩。其核心思想是通过聚类将颜色表示数量减少。例如，传统RGB，每个通道0~255(8 bits)，则可以表示16777216 (24 bits)种颜色，通过聚类可以减少到16种颜色。下面以此为例，比较一下原始图像与压缩图像。迭代次数 50 次，聚类数目 16。

CTR 平滑在计算广告中，有时存在一些比较稀疏的数据，这时需要对这些数据进行平滑。例如，某个广告，只有三次浏览(Impression)，0次点击(Click)，那么点击率为0%？如果恰巧有一次点击，点击率为33%？显然这样不合理，这样的点击率预估就很不准确了。因此，我们需要一种可以对点击率平滑的方法。下面先介绍什么是BetaBeta分布。Beta 分布关于 BataBata 分布，可以参考这篇博文：