朴素贝叶斯算法
基于黑名单的过滤器:
号码量少于50万,黑号码名单维护成一个散列表。
如果有500万个号码呢?
方案1:布隆过滤器 5000万bits,
方案2:黑名单存储在服务器,所有判断都通过网络请求判断
基于规则的过滤器,规则如下:
1) 特殊词,反动 淫秽
2) 群发号码,非正常号码
3) 短信中汉语微信 qq等
可以基于概率统计的方法,借助计算机强大的计算能力,找出哪些单词最常出现在垃圾短信中,将这些最常出现的单词,作为特殊单词,用来过滤短信。
假设有样本有100万个, 神经病 出现在100个样本中,其中90个都是垃圾短信,那基本可以确定神经病就是敏感词。
基于概率统计的过滤器:
机器不能像人一样明白短信的意思,但是可以将短信分词;分词之后:获取样本与是否是垃圾短信的概率
p1(是垃圾短信|w1,w2,w3...wn同时出现在短信中) = p(是垃圾短信|w1出现在短信内中)*...*p(是垃圾短信|wn出现在短信内中)
p2(是垃圾短信|w1,w2,w3...wn同时出现在短信中)
如果p1远大于p2(如p1=10*p2),则可以判定为垃圾短信
音乐推荐系统核心
1)找到跟你口味偏好相似的用户,把他们爱听的歌曲推荐给你
2)找出跟你喜欢的歌曲特征相似的歌曲,把这些歌曲推荐给你
怎么定义口味偏好相似的用户?
假设你喜欢的有10首,小明有8首,其中有6首是一样的,那就是相似用户。
怎么定义喜欢一首歌:
按照行为计分,大于8分为喜欢:单曲循环 +5 分享+4 收藏+3 搜索+2 听完+1 没听过0 跳过-1
或:
假设如下图:
此时可以用欧几里得距离来表示相似度,距离越小,口味月一致。
怎么定义相似特征的歌曲?
这里可以过来用人群来评判