Something

监督学习(Supervised Learning)SupervisedLearning,Wiki 通过训练资料（包含输入和预期输出的数据集）去学习或者建立一个函数模型，并依此模型推测新的实例。函数的输出可以是一个连续的值（回归问题,Regression），或是预测一个分类标签（分类问题,Classification）。 机器学习中与之对应还有： 无监督学习(Unsupervised Learn

欠拟合与过拟合假设一种情况，根据x预测y (a):使用y=θ0+θ1x1y=θ_{0}+θ_{1}x_{1}去匹配数据，并不能很好地拟合。 (b):使用y=θ0+θ1x1+θ2x2y=θ_{0}+θ_{1}x_{1}+θ_{2}x_{2}去匹配数据，比较完美地拟合。 (c):使用y=∑5j=0θjxjy=\sum_{j=0}^5θ_{j}x^{j}去匹配数据，过于拟合数据，丧失了预测性。

牛顿方法(Newton’s method)牛顿方法是另一种最大化l(θ)l(θ)的算法。 首先找到一个实数域上的方程ff，f(θ)=0f(θ)=0，θ是实数。 从起始点θ0θ_0开始，找到f(θ0)f(θ_0)处的切线，与坐标轴相交于θ1θ_1，由此不断迭代。两点之间的距离记为Δ 。 f′(θ0)=f(θ0)Δf'(θ_0)=\frac{f(θ_0)}{Δ} —-> Δ=f(θ0)f′(

生成学习算法判别学习算法(Discriminative learning algorithm)直接学习p(y|x)p(y|x)，或者学习得到一个假设，直接输出0、1，hθ(x)∈{0,1}h_θ(x)\in \{0,1\}。例如Logistic回归。 该种模型只是通过一条分隔线把两种类别区分开。生成学习算法(Generative learning algorithm)根据特征和类别情况，对p(x|

朴素贝叶斯在上一讲中的特征xix_i 只能取0，1，二元值；一般化的朴素贝叶斯算法中，特征xix_i 能取{1,2,...,ki}\{1,2,...,k_i\}。 这样在对p(x|y)p(x| y)进行建模时，就要使用多项式分布，而不是伯努利分布。如果特征是连续值，那么就需要将其离散化，离散到有限的k个值。 例子：居住面积 当原始的连续值在多项分布中建模效果不是很好时，离散这些特征然后使用