野心家-Andy的博客

week1-3.Parameter Learning一、Gradient Descent二、Gradient Descent Intuition梯度下降（gradient descent）算法过程：梯度下降算法特点：从不同起始点开始计算可能会达到不同的局部最优点（different local optimum）alpha-学习率（learning rate），代表梯度下降时的步长。theta0和t...

week4-2.Neural Network一、Model Representation I在神经网络中，常常把Sigmoid/逻辑函数叫做激励函数（activation function），而把参数（parameter）theta叫做权重（weights）。有时候可以把x0（bias unit）添加到神经网络里去，有时候不添加。输入层：input layer；隐藏层：hidden layer；输...

week4-1.Motivation一、Non-linear Hypothesis在一些分类问题中，需要的参数可能会非常多，而且这些参数可能会以高次形式组合，变成更多的参数项。比如图片中每一个像素点（pixel）的表示，需要像素点坐标、灰度/RGB来表示。所以可以通过神经网络（Neural network）来解决复杂分类问题。二、Neurons and the Brain把传感器（sensor）接...

week3-4.Solving the Problem of Overfitting一、The Problem of Overfittingunderfitting=high bias；overfitting=high variance。避免过拟合的方法：二、Cost Function在代价函数J中对每个参数theta加入正则化项（罚函数），从而使所有的参数变小。但是不对theta0增加正则化项。...

week3-3.Multiclass Classification：One-vs-all对于一个三元分类问题，可以转化为三个二元分类问题。对每个二元分类问题设计假设函数h(x)，并对数据集进行0-1标记。三个二元分类都训练好后，对于新输入的测试样本x，分别投到三个二分类假设函数中算出h值，随后选最大h值所对应的类别。...

week3-2.Logistic Regression Model一、Cost Function逻辑回归的基本问题：使用线性回归中的代价函数J不合适。因为h(x)=1/(1+e^(-theta'*x))是非线性的，带入后得到的代价函数是非凸的（non-convex），有很多局部最优点，可能找不到全局最优。逻辑回归中使用的代价函数J：二、Simplified Cost Function and Gr...

week3-1.Classification and Representation一、Classification二分类（binary classification）：根据阈值（threshold）确定类别。如果用线性回归（linear regression），一个异常值（最右边的点）的存在可能会在很大程度上影响分类方式。所以不建议用线性回归。可能出现h(x)<0或>1的情况，为了避免...

week2-3.Computing Parameters Analytically一、Normal Equation正规方程（normal equation）用求（偏）导的方法求最值（若是多元变量函数，需要对每个变量求偏导，然后令他们都为0）：使用正规方程求J函数最值：构建设计矩阵：例子：用以下公式可直接求出使得代价函数J最小的theta值：推导过程：normal equation採用矩阵运算能够...

week1-4.Linear Algebra Review一、Matrics and Vectors二、Addition and Scalar三、Matrix Vector Multiplication四、Matrix Matrix Multiplication五、Inverse and Transposeprediction=datamatrix*parameters...

week2-2.Multivarite Linear Regression一、Multiple Features多变量（multiple features/variable）的一些定义：改写后的假设：二、Gradient Descent for Multiple Variables将theta0、theta1······thetan看做一个n+1维的theta向量；将J看做theta向量的函数。只...

week1-2.Model and Cost Function一、Model Representation训练集（training set）中的一些符号表示：单变量线性回归（linear regression with one variable/univariate linear regression）二、Cost Funtion三、Cost Function-Intruction I四、Cost...

week1-1.Introduction一、What is Machine Learning起源：1959年Arthur Samuel制作了一个下西洋棋的程序，可以自己学习，并与自己对弈。E、T、P的实例：二、Supervised Learning监督学习的分类与案例监督学习为根据数据进行预测结果，分别为回归问题和离散（分类）问题1.回归regression给一个房价数据集，不同房子给出正确的价格...

week4-3.Applications一、Examples and Intuitons I神经网络实现与（and）运算。神经网络实现或（or）运算。二、Examples and Intuitions II神经网络实现非（not）运算。通过and运算、（not）and（not）运算和or运算的叠加组合实现xnor运算：即x1、x2不同时为0，x1、x2相同时为1.三、Multiclass Clas...