推荐系统

最近在做推荐系统，这里分享一点过程中的感受

NEG

有关NEG(negative sampling)，这个概念其实来源于word2vec

入门推荐好文章：
Word2Vec-知其然知其所以然

两种非常重要的函数

• sigmoid
  

  将分类以概率来表示

$$g(x) = \frac{1}{1+e^{-x}}$$ * softmax

解决多分类问题

$$P(y=j|\mathbf x)=\frac{e^{{\mathbf x}^T{\mathbf w}_j}}{\sum_{k=1}^K e^{{\mathbf x}^T{\mathbf w}_k}}$$

关于softmax下的损失函数：
softmax loss

基础知识

• Huffman树

  给定n个权值作为n个叶子节点，则带权路径最小的树称为Huffman树。

• n阶Markov 假设

  一般取n为1，即1阶Markov假设，能用来简化N-gram模型

待补充