Machine Learning

Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data

机器学习是一门从数据中研究算法的科学学科
机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据构建模型，最终对未来进行预测
机器学习就是一种模拟人决策过程的一种程序结构

机器学习是人工智能的一个分支，我们使用计算机设计一个系统，使它
能够根据提供的训练数据按照一定的方式来学习，随着训练次数增加，该系统可以在性能上不断学习和改进，通过参数优化的学习模型，能够用于预测相关问题的输出

机器学习中是无法得到一个完美函数

线性回归
逻辑回归
KNN
CART
朴素贝叶斯
SVM
K-Mean
AdaBoost
HMM
条件随机变量

1. 数据收集
2. 数据预处理
3. 特征提取
4. 模型构建
5. 模型测试评估
6. 投入使用（模型部署与整合）
7. 迭代优化

KNN

特征工程

线性回归

$$\begin{gathered} w=(w_1,w_2,\cdots ,w_n,b{)}^T \\ x=(x^{(1)},x^{(2)},\cdots ,x^{(n)},1{)}^T \\ h(x)=w^T\cdot x \end{gathered}$$
损失函数：$loss(\theta )=({\hat{y}}_i-y_i{)}^2$，其中${\hat{y}}_i=h_{\theta }(x_i)$
代价函数：$$Cost(\theta )=\frac{1}{N}\sum _{i=1}^N({\hat{y}}_i-y_i{)}^2$$，其中${\hat{y}}_i=h_{\theta }(x_i)$
目标函数:$$Obj(\theta )=\frac{1}{N}\sum _{i=1}^{N}loss({\hat{y}}_i,y_i)$$

$$h(\theta )={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$$
最终要求计算出$\theta$的值，并选择最优的$\theta$值构成算法公式

$$minJ(\theta )=\frac{1}{2}\sum _{i=1}^m({\epsilon }^{(i)}{)}^2=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}){)}^2$$

极大似然估计