牧码杭城

前言    感谢吴恩达老师，看完课程后对机器学习有了一个大概的了解，现在回顾一下整个课程。    在课程中个人印象机器学习过程主要分为以下几个部分：模型（监督和非监督）、代价函数、学习算法、检验与改进。本文便按照课程顺序从这几个方面进行目录性记录，方便回顾课程。一、机器学习过程 - 模型（假设函数）：h(x) - 代价函数：J(theta) - 学习算法 - 检验评价分析调整二、模型1. 监督学习...

目录：    机器学习介绍    单变量线性回归（模型、梯度下降）    线性代数回顾1 机器学习介绍：1）什么是机器学习？    一个计算机程序从经验E中学习如何处理任务T，并通过性能度量P来衡量，它处理任务T的表现会随着经验E的增加而提高2）监督学习与无监督学习？    - 监督学习：    给一个数据集并且我们已经知道了正确的输出是什么样子的，我们已经知道了输入与输出之间的对应关系。    ...

目录：    多变量线性回归（模型、梯度下降技巧）    特征选择和多项式回归    正规方程    Matlab学习1 多变量线性回归1）模型- 假设函数：- 参数：全部的 theta- 代价函数：和单变量回归一样- 梯度下降：2）梯度下降算法的实用技巧    - 特征缩放（Feature Scaling）    均值归一化    u为该特征平均值；s为范围，也就是max-min    - 学习...

目录：    逻辑回归模型    多类别分类    正则化1 逻辑回归模型1）逻辑回归的假设函数：利用Logistic函数，使输出范围控制在【0，1】之间2）决策边界由logistic函数的图像可以看出 当y=1时：也就是说：这样，就会形成一个判断输出为0还是1的边界（X为变量，与参数theta有关），称为决策边界。3）代价函数简化：（在使用梯度下降时，用这个函数确认每一次迭代J(theta)都是...

目录：    模型表示    例子1 模型表示1）模型原理    输入层   +    隐藏层   +   输出层：    激活单元：    计算中间结点：    从第 j 层到 j+1 层的映射矩阵（权重矩阵）：    权重矩阵的维度为  ( j+1层单元个数 ) * ( j层单元个数 + 1 ) 2） 模型表示向量化2 例子1）实例 AND     得出theta    从而获得假设函数2）实...

目录    代价函数    反向传播    神经网络总结1 代价函数2 反向传播算法——让代价函数最小化的算法让代价函数最小化，利用matlab函数库fminunc时在costFunction时需要·代价函数计算方法 ·代价函数的偏导数为了得到这个偏导数，使用反向传播算法：3 反向传播算法实现1）矩阵表达式和向量表达式的转换矩阵变为向量：向量还原矩阵：向量表达式便于使用优化函数，如 fminunc...

目录    评估学习算法：    方差和偏差    学习曲线    机器学习系统设计1 评估假设，选择多项式模型利用 测试集误差。线性回归：逻辑回归：当选择多项式模型时：一般进一步划分数据集为训练集60%、验证集20%、测试集20%·利用 训练集 优化参数 theta·使用 验证集 找到最小误差的多项式·使用 测试集 估计泛化误差2 偏差和方差：如何评价一个学习算法1）拟合与偏差/方差欠拟合：高偏...

前言：说实话SVM，看了视频我确实还是不太理解，所以这里就之记一些重要的概念吧。看到一个好的文章：[机器学习] Coursera笔记 - Support Vector Machines支持向量机又叫做 大间距分类器。复杂SVM，处理非线性分类。代价函数：核函数——>相似度函数参数分析：...

目录    K-means算法    PCA（主成分分析）1 K-means1）算法原理：    a 选择聚类中心    b 迭代优化分二步        - 针对每一个样本划分到所属聚类中心        - 针对每一个聚类，重新选取聚类中心（某一类所有点坐标的平均值即为新的聚类中心）2） 优化目标  J ：每一个样本到它所属的聚类中心的距离的平方3） 随机初始化中心局部最优情况：正确情况：为了...

目录    异常检测    多元高斯分布的异常检测    推荐系统1 异常检测1）正态分布或高斯分布：2）异常检测算法：3）异常检测与监督学习的比较使用异常检测算法的情况- 不正常的样本较少，不利于学习；- 导致不正常的原因有很多，不方便进行学习时4）选择特征当特征不符合正态分布时，可以利用log或者根号等运算改变所有样本该特征值，然后作图观察是否符合正态分布2 多元高斯分布的异常检测1）多元高斯...

目录处理大数据集：    随机的梯度下降    映射化简1 随机的梯度下降 - 随机梯度下降算法对于每一次迭代，只需要对一个样本拟合好就可以了。它只需要一次关注一个样本一点点进行参数调整，这样不需要每一次都等到对所有数据进行扫描，从而降低复杂度 - 效果图：（实际上随机梯度下降会在最靠近全局最小值的区域内徘徊）小批量梯度下降三种梯度下降的比较：2 先进的主题：1）在线学习2）MapReduce和并...