D. Qiu的专栏

Model representationCost functionCost function intuition ICost function intuition IIGradient descentstart with some \theta_0, \theta_1keep changing \theta_0, \theta_1 to reduce

1. Optimization Objectivelogistic regressionletsupport vector machine2. Large Margin Intuition3. The mathematics behind large margin classification (optional)

1. Learning with large datasetsIt's not who has the best algorithm that wins. It's who has the most data2. Stochastic gradient descentbatch gradient descentrepeat

1. 极大后验假设中包含了假设的先验概率，若没有先验信息，则极大后验假设等同于极大似然假设。比较极大似然假设：2. 作为搜索的概念学习在目标函数给出的可能的假设空间中搜索能最好拟合训练样例的假设所搜索的假设空间是有限的训练数据是无噪声的，学习到的假设应当与每个样例一致目标概念应当包含在中没有其他先验知识没有其他先验知识指没有任何理由认为某假设比其他假

1. 简介消极学习方法不是根据样本建立一般化的目标函数并确定其参数，而是简单地把训练样例存储起来，直到需要分类新的实例时才分析其与所存储样例的关系，据此确定新实例的目标函数值。最近邻法与局部加权回归法根据邻近的样例对新实例分类径向基函数/核函数法介于局部加权回归和神经网络之间的方法基于案例的推理使用符号表示的基于知识的推理方法2.

1. 遗传算法的特点遗传算法是基于自然选择和基因遗传学原理的一种群体寻优的搜索算法，特别适用于处理传统搜索方法难于解决的复杂和非线性问题。遗传算法是群体寻优，不是从一个点开始，而是从许多点开始搜索。因而可以防止搜索过程收敛于局部最优解，较有可能得到全局最优解。遗传算法通过适应函数来选择优秀种群，而不需其他推导和附属信息，因而对问题的依赖性较小，求解的鲁棒性较好。遗传算法对寻优的函数（适

1. 信道模型转移概率矩阵2. 信息熵信源自信息表示出现的不确定性。信息熵自信息的数学期望，即出现的平均不确定性，又叫先验熵。：对某个有（），信源只发出符号，不存在不确定性（令）相互接近，越大，反之则越小。

1、线性回归、logistic回归和一般回归线性回归函数（如果）损失函数（loss function）或者错误函数（error function）梯度下降法梯度下降法最大的问题是解有可能是局部极小值，这与初始点的选取有关步骤首先对赋值，这个值可以是随机的，也可以让是一个全零的向量改变的值，使得沿梯度下降的的方向减少由于求得的是极小值，因此

条件概率（Conditional Probability）P(B|A)=P(AB)P(A),P(A)>0 P(B|A) = \frac{P(AB)}{P(A)}, \quad P(A) > 0 乘法定理（Product rule）设 P(A)>0 P(A) > 0 ，则： P(AB)P(ABC)=P(B|A)P(A)=P(C|AB)P(B|A)P(A)\begin{equation} \begi

1. Motivation I: Data CompressionReduce data from 2D to 1D2. Motivation II: Data Visualization3. Principal Component Analysis problem formulationreduce from 2D to 1D: find a directio

1. Unsupervised learning introductionsupervised learning - training set: unpervised learning - training set: 2. K-means algorithmrandomly select K cluster centroidsrepeatfor every

UCI机器学习数据库的网址：http://archive.ics.uci.edu/ml/数据库不断更新，是所有学习人工智能、机器学习等都需要用到的数据库，是看文章、写论文、测试算法的必备数据集。数据库种类涉及生活、工程、科学各个领域，记录数也是从少到多，最多达几十万条。UCI数据可以使用Matlab的dlmread或textread读取，不过，需要先将不是数字的类别用数字，比如1/2/3等

读取UCI数据集iris.data中数据：>> [attrib1, attrib2, attrib3, attrib4, class] = textread('data\iris.data', '%f%f%f%f%s', 'delimiter', ',');>> attrib = [attrib1'; attrib2'; attrib3'; attrib4']';>> a = zero

Multiple featuresfor convenience of notation, define , the new hypothesis isGradient descent for multiple variablesnew algorithm isGradient descent in practive I: Feature S

1. Classification2. Hypothesis RepresentationLogistic Regression Modelthe above function is called sigmoid function or logistic functionInterpretation of Hypothesis outputestimated probability tha

1. Non-linear hypotheseswhy introduce non-linear hypotheses?high dimensional datanon-linear hypotheses2. Neurons and the brainNeural networksorigins: algorithms that try to m

1. Cost functionNeural Network (Classification)Binary classification1 output unitMulti-class classification (K classes)K output unitsCost function

1. Deciding what to try nextDebugging a learning algorithmSuppose you have implemented regularized linear regression to predict housing prices, when you test your hypothesis on a new set of

1. Prioritizing what to work on: Spam classification examplecollect lots of datadeveloped sophisticated features based on email routing informationdeveloped sophisticated features for message bo

极限直观定义中的“无限趋近”是个含糊不清的概念，为了更精准地用数学语言表达这个概念，很多数学家都做了努力，包括法国数学家朗贝尔（D’Alembert），法国数学家柯西（Cauchy），但最终系统的引入 ϵ−δ \epsilon-\delta 语言的是德国数学家魏尔斯得拉斯（Weierstrass）。设 f(x) f(x) 定义在 x0 x_0 的某个去心领域 N(x0) N(x_0) ，若存在