机器学习笔记系列1(Hands-On Machine Learning with Scikit-Learn & Tensor Flow)

What is Machine Learning?什么是机器学习？

Brief definition
1.从数据中学习（ Learn from data）

More general definition:
1.没有显性编程设计过地学习（Learn without explicitly programmed）
2.能够对于发布的任务T，在某种性能衡量标准P下，从经验E中能够不断学习（ learn from experience E, with respect to task T, under the performance measure P)

What are the categories of ML?

it can be classified based on several criteria:

1.是否有监督(whether or not they are trained with human supervision)

1. 监督式学习(supervised learning)：
   1 必须有 labels： 例如 垃圾邮件分类，需要你确定每个邮件是否是垃圾邮件，这个spam就是标签。
   2 分类（classification）：离散value预测
   3 回归（regression) ： 连续value预测
   4 一些重要的算法：

 - K近邻(k-Neares Neighbors)
 - 线性回归(Linear Regression)
 - 逻辑斯特回归(Logistic Regression)   ：  (can be used for classifiction可用于分类)
 - 支持向量机(Support Vector Machines)
 - 决策树和随机森林(Decison Tree and Random Forests)
 - 神经网络(Neural Networks(some can be unsupervised)) 

2. 非监督式(unsupervised learning)
   1 unlabeled无标签
   2 重要的算法：

- Clustering ： 聚类
 - - k-Means(k均值)
 - - Hierarchical Cluster Analysis(HCA)（层次聚类）
 - - Expectation Maximazation（期望最大化）
- Visualization and dimensionality reduction

 - -  Principle Component Analysis(PCA): 主成分分析
 - - Kernel PCA（核函数主成分分析）
 - - Locally-Linear Embedding(LLE)：局部线性嵌入算法
 - - t- distributed Stochastic Neighbor Embedding(t-SNE)：t分布随机邻域
 
- Association rule learning：关联性规则学习
  - - Apriori
  - - Eclat

3. 半监督(semisupervised learning)：
   例如，苹果手机上的照片，它先聚类，然后要你标记某人的名字，然后依次来最终区别分类所有人。
4. 强化学习（Reinforcement learning
   例如，无人驾驶汽车和算法玩FPS游戏，都需要agent, environment，reward ,action and policy. agent代理人收到environment的信息，进行action然后通过环境得到reward，然后形成一个Policy, 最大化reward.

2 是否递进式学习（whether or not incrementally learned on the fly）

1. 在线学习（online learning）： 逐步学习，在线学习
2. 离线批量学习（Batch Learning）： 需要离线把新数据和旧数据一起重新训练系统！然后Launch!

3 是挖掘模式还是点对点对比（whether detect patterns or compare new data points to known data points）

1. 基于模型（挖掘模式）(model-based learning)：通过获得模型，然后来进行预测，比如线性回归之类。
2. 基于样例（点对点）(instance-based learning) ：通过和样本进行对比，通过相似度来衡量。