kiooooo的博客

Andrew Ng机器学习笔记week1第一周主要是对机器学习进行简单的介绍和线性回归的知识点：一、Introductionmachine learning的举例 machine learning定义和例题 machine learning分类 - Supervised learning right answer given，有标记的 1.regression：c

estimateGaussian.mfunction [mu sigma2] = estimateGaussian(X) %ESTIMATEGAUSSIAN This function estimates the parameters of a %Gaussian distribution using the data in X % [mu sigma2] = estimateGaussian

一、异常检测1.问题举例： 2.高斯分布 3.算法 密度估计 算法过程、举例： 算法评估： 4.异常检测 VS 监督学习 5.选择使用的特征 6.多变量高斯分布 使用多变量高斯分布的异常检测 二、推荐系统问题： 1.基于内容的推荐 优化目标： 优化算法： 2.Collaborative filtering 优化算法：

findClosestCentroids.mfunction idx = findClosestCentroids(X, centroids) %FINDCLOSESTCENTROIDS computes the centroid memberships for every example % idx = FINDCLOSESTCENTROIDS (X, centroids) returns t

一、k均值聚类算法1.K-­‐means算法算法实现过程： 随机初始化K个聚类中心 几个类不是分离的，算法怎么做？举例，衣服大小怎么分： 2.K均值聚类算法的优化目标3.随机初始化局部最优的问题： 4.选择聚类的个数 选择一个临界点： 比如衣服尺寸的分类： 二、维度下降目的： ①数据压缩 ②数据的可视化（对数据的分析更加直观） 主成分分析（Princi

gaussianKernel.mfunction sim = gaussianKernel(x1, x2, sigma) %RBFKERNEL returns a radial basis function kernel between x1 and x2 % sim = gaussianKernel(x1, x2) returns a gaussian kernel between x1 an

linearRegCostFunction.mfunction [J, grad] = linearRegCostFunction(X, y, theta, lambda) %LINEARREGCOSTFUNCTION Compute cost and gradient for regularized linear %regression with multiple variables % [

1.Alternative view of logistic regression 逻辑回归： SVM： 2.Large Margin Intuition 决策边缘： 可线性分离的情况： 存在异常值的情况： 3.kernel –核非线性决策边缘： 核： 举例： 选择标志点： SVM with Kernels： SVM参数： 4.使用SVM

nnCostFunction.mfunction [J grad] = nnCostFunction(nn_params, ... input_layer_size, ... hidden_layer_size, ...

机器学习应用中的建议1、如何debug一个学习算法2、如何评估一个假设h(x) 3、模型的选择、训练集、检验集、测试集 将数据集合分为三部分，训练集占60%，检验集（Class Validation）占20%，最后测试集占20%4、bias VS variance 5、正则化和偏差（bias）、方差（variance） 6、神经网络的过拟合7、学习曲线 机器学习系统设计垃圾分类

1、向量化正则化的逻辑回归 lrCostFunction.mfunction [J, grad] = lrCostFunction(theta, X, y, lambda) %LRCOSTFUNCTION Compute cost and gradient for logistic regression with %逻辑回归实现手写数字识别：lrCostFunction.m和oneVsAll.m和

神经网络的表达一、Non-linear hypotheses n很大很大，很多很多个特征。二、神经元模型 这里又用到了之前提到过的sigmoid函数，作为activation function三、Forward propagation: Vectorized implementation前向传播：向量化的实现 一个简单的神经网络的例子 四、多分类 这是一个又多个输出单元的神经网络，得到

sigmoid函数 sigmoid.mfunction g = sigmoid(z) %SIGMOID Compute sigmoid function % g = SIGMOID(z) computes the sigmoid of z. % You need to return the following variables correctly g = zeros(size(z)); %

Logistic regression一、逻辑回归与分类 ①分类：y=0或1; h(x)≥阈值时，预测y=1; 反之，h(x)<阈值时，预测y=0. h(x)可以大于1，也可以小于0. ②逻辑回归：0≤h(x)≤1Hypothesis Representation 这里引入一个sigmoid函数来表示h(x)二、Decision boundary（决策边界） 三、Cost functi

代价函数计算 computeCost.mfunction J = computeCost(X, y, theta) %COMPUTECOST Compute cost for linear regression % J = COMPUTECOST(X, y, theta) computes the cost of using theta as the % parameter for lin

第二周主要是多特征的线性回归知识点：一、multiple features(variables)-多变量 预测值： 二、Gradient descent for multiple variables 1、Feature Scaling 需要把各个特征取值转化到统一范围内，比如一个特征取值范围0~100000，另一个特征取值范围0~10，那就没有可比性了。 2、L

1.大型的数据集合 2.随机梯度下降（Stochastic gradient descent） 随机梯度下降算法 3.小批量梯度下降（mini-Batch gradient descent） 三种梯度下降方法对比： 4.随机梯度下降收敛 5.Online learning 6.Map-­reduce and data parallelism（减少映射、数据并行）