机器学习读书笔记（二）

数据挖掘与机器学习

• 数据挖掘：识别大量数据中的模式，从这些模式中提取有用的信息的过程。数据挖掘基于可能已经确定关系的现实数据。
  机器学习：开发人工智能的一种方法。机器学习算法用于开发新算法和技术，使机器自身能够从分析的数据或者经验中学习。

• SpamAssassin用于检测垃圾邮件，能够从分析的样本数据和经验（也就是生成的电子邮件数据库）中学习。
  1.执行不同类型的测试
  2.使用多种适用于电子邮件标题和内容的统计算法
  3.用模块优化方法开发

SpamAssassin的特性

• 共同特性
  1.基于机器学习技术，性能随经验而增长
  2.适用于广泛的本地和网络电子邮件测试
  3.大部分代码保存在纯文本文件中
  4.可以从互联网上下载，易访问
  5.包含了一个API接口，可简单使用其应用的内建类和函数
  6.易配置

• 工作原理：计算入站电子邮件的权重
  权重＞某个阈值→垃圾邮件
  权重≤某个阈值→有效邮件

• 测试的样本数据越多，精确识别度越高，测试大量样本时会自动生成新的规则
  主要测试方式：
  1.邮件头测试
  2.邮件体短语测试
  3.贝叶斯过滤器
  4.自动化的地址白名单黑名单
  5.手工设定的地址白名单黑名单
  6.协作式的垃圾邮件识别数据库
  7.DNS Blocklists
  8.字符集与本地化

• 在能源行业中，机器学习常用于测试负载需求，还可以预测隔日的产品价格。负载需求预测的结果可以与能源分配系统集成，作为附加约束，确保能源的顺畅供应。通过添加惩罚项（即加上或者减去某个值，平衡偏差）以预防特定节点能源消耗的偏差，提高系统的精度。

• 知识检测点2
  下面哪一个SpamAssassin特性使得它很容易与其他应用一起使用?
  a.基于机器学习技术
  b.适用于广泛的本地和网络邮件测试，以识别垃圾邮件
  c.包含API接口
  d.很容易配置