机器学习
JockerWong
keep study, you deserve better
展开
-
《吴恩达机器学习》1 绪论:初识机器学习
前言机器学习(Machine Learning)这个领域近几年非常火爆,Alpha go、cortana、facenet等产品陈出不穷。特别是看到openai研究的DOTA2对抗机器人和顶级人类玩家打得如火如荼,无不激起我莫大的兴趣。为此为了跟上时代的步伐,希望自己也能成为AI领域的一份子,在此将吴恩达的机器学习课程做下学习笔记,以便交流及查阅。ps. 本人是一名c++程序员(有空我要吐槽下c...原创 2019-01-20 22:18:53 · 346 阅读 · 0 评论 -
《吴恩达机器学习》18 机器学习总结
前言原机器学习最后一章的内容为 图片文字识别,但是笔者在看了这一章的课程之后发现其内容可能实际应用性不大,课程讲的ocr识别的方法已经不适合目前主流的算法(目前主流使用CNN——卷积神经网络),故省略这一章节的笔记,改为对整个机器学习课程的总结。一、监督学习算法1、线性回归线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其...原创 2019-02-26 10:00:43 · 382 阅读 · 0 评论 -
《吴恩达机器学习》12 支持向量机
支持向量机前言一、优化目标二、大间隔分类器1、直观理解2、数学原理三、核函数四、使用SVM总结前言到目前为止,我们已经见过一系列不同的学习算法。在监督学习中,许多学习算法的性能都非常类似,因此,重要的不是你该选择使用学习算法 A 还是学习算法 B,而更重要的是,应用这些算法时,所创建的大量数据在应用这些算法时,表现情况通常依赖于你的水平。比如:你为学习算法所设计的特征量的选择,以及如何选择正则...原创 2019-02-20 15:13:01 · 592 阅读 · 0 评论 -
《吴恩达机器学习》17 大规模机器学习
大规模机器学习前言一、大数据集的学习二、几种梯度下降法1、批量梯度下降法2、随机梯度下降法3、小批量梯度下降法4、在线学习三、数据并行总结前言前面我们学习了机器学习一种最重要的优化方式——梯度下降法(也就是批量梯度下降法)这种方法很好的对我们的数据进行拟合,通过合适的代价函数来求解函数的权值,从而得到我们的算法模型。但是这种方法也有缺点,下面来学习下梯度下降法的细节。一、大数据集的学习假设...原创 2019-02-25 11:22:04 · 301 阅读 · 0 评论 -
《吴恩达机器学习》16 推荐系统
推荐系统前言一、基于内容的推荐系统1、问题描述2、推荐系统算法二、协同过滤三、低秩矩阵分解及均值归一化1、低秩矩阵分解2、均值归一化总结前言目前生活中我们用的互联网产品就会都会涉及到推荐系统,比如逛淘宝时浏览商品时推荐系统会记下用户的喜好,然后推荐同类型或者觉得你感兴趣的商品给你;浏览新闻时根据你历史浏览的内容推荐同类型内容的新闻给你,这就是通俗意义上的推荐系统。一、基于内容的推荐系统1、...原创 2019-02-24 17:23:48 · 712 阅读 · 0 评论 -
《吴恩达机器学习》11 机器学习系统设计
机器学习系统设计前言一、首先要做什么二、误差分析三、查准率(Precision)和查全率(Recall)四、机器学习的数据总结前言一、首先要做什么二、误差分析三、查准率(Precision)和查全率(Recall)四、机器学习的数据总结以上就是《吴恩达机器学习》系列视频 机器学习系统设计 的内容笔记,以便后续学习和查阅。...原创 2019-02-19 10:57:16 · 219 阅读 · 0 评论 -
《吴恩达机器学习》8 神经网络学习
神经网络学习前言一、非线性假设二、神经元和大脑三、模型展示四、例子与直观理解五、基于神经网络的逻辑算法代码总结前言一、非线性假设二、神经元和大脑三、模型展示四、例子与直观理解五、基于神经网络的逻辑算法代码总结以上就是《吴恩达机器学习》系列视频 神经网络学习 的内容笔记,以便后续学习和查阅。...原创 2019-02-12 17:22:36 · 256 阅读 · 0 评论 -
《吴恩达机器学习》15 异常检测
异常检测 前言一、高斯分布1、问题描述2、算法二、异常检测方法应用1、应用方式2、异常检测与监督学习比较3、特征选择三、多变量的高斯分布总结前言异常检测首先不是检测机器学习算法中的异常,也不是一个算法,它指的是一种应用场景(刚开始时我也陷入这两种猜测。。。)比如在工厂内生产一批零件,我们用高斯分布的方法来预测新生产的零件的异常状况。这就是本章学习的内容——异常检测一、高斯分布正态分布(N...原创 2019-02-23 13:50:01 · 407 阅读 · 0 评论 -
《吴恩达机器学习》10 应用机器学习的建议
应用机器学习的建议前言一、决定下一步做什么二、模型评估1、评估假设2、模型选择和交叉验证三、偏差和方差1、定义2、正则化3、学习曲线四、决定下一步做什么(revisited)总结前言一、决定下一步做什么二、模型评估1、评估假设2、模型选择和交叉验证三、偏差和方差1、定义2、正则化3、学习曲线四、决定下一步做什么(revisited)总结以上就是《吴恩达机器学习》系列视频 应...原创 2019-02-18 11:44:20 · 182 阅读 · 0 评论 -
《吴恩达机器学习》14 降维(PCA算法)
降维(PCA算法)前言一、算法应用1、数据压缩2、数据可视化二、主成分分析(PCA)1、问题2、算法三、应用建议1、选择主成分的数量2、数据压缩还原3、应用总结前言这一章节开始介绍第二种非监督学习的算法——降维。所谓的降维顾名思义就是将多维数据降到低维数据的算法,降维方法分为线性和非线性降维,非线性降维又分为基于核函数和基于特征值的方法。 线性降维的方法有PCA、ICA、LDA等,非线性降维方...原创 2019-02-22 10:14:23 · 1782 阅读 · 0 评论 -
《吴恩达机器学习》9 神经网络参数的反向传播算法
神经网络参数的反向传播算法前言一、代价函数二、反向传播算法三、综合应用总结前言一、代价函数二、反向传播算法三、综合应用总结以上就是《吴恩达机器学习》系列视频 神经网络参数的反向传播算法 的内容笔记,以便后续学习和查阅。...原创 2019-02-15 11:20:37 · 908 阅读 · 5 评论 -
《吴恩达机器学习》7 正则化
正则化前言一、过拟合和欠拟合二、代价函数三、线性回归的正则化四、Logistic回归的正则化总结前言前面已经学习了线性回归和逻辑回归的算法,我们也知道可以通过这些算法来训练我们的数据,从而得到一个比较靠谱的算法来预测未知的数据。但是这个模型在做机器学习的算法有时会出现过拟合(over-fitting)和欠拟合(under-fitting),这个章节来学习正则化的方法来避免或减少过拟合及欠拟合...原创 2019-01-28 15:34:22 · 185 阅读 · 0 评论 -
《吴恩达机器学习》5 Python/Numpy 教程(Octave/Matlab 教程)
Octave/Matlab 教程(python/numpy 教程)前言一、python基本使用1、数据类型2、语法3、切片(重要)4、函数及类二、numpy使用1、矩阵2、矩阵运算三、基于numpy的梯度下降法实现总结前言《吴恩达机器学习》是在2014年发布的,那个时候机器学习的编程语言用octave较多,但是现在几乎都是python的天下,几乎所有的机器学习框架都在python上有很好的实现...原创 2019-01-22 17:17:23 · 1225 阅读 · 3 评论 -
《吴恩达机器学习》4 多变量线性回归
多变量线性回归前言一、多变量线性回归二、多元梯度下降法1、特征缩放(归一化)2、学习率三、特征和多项式回归四、线性回归的正规方程解法五、梯度下降法和正规方程的对比总结前言一、多变量线性回归二、多元梯度下降法1、特征缩放(归一化)2、学习率三、特征和多项式回归四、线性回归的正规方程解法五、梯度下降法和正规方程的对比总结以上是《吴恩达机器学习》系列视频 多变量线性回归 一些笔记和见...原创 2019-01-21 11:48:22 · 611 阅读 · 0 评论 -
《吴恩达机器学习》3 线性代数回顾
线性代数回顾前言矩阵和向量1、张量2、矩阵3、向量矩阵和向量运算1、矩阵加法2、矩阵与标量乘除法3、矩阵与矩阵乘法(重要警告)矩阵运算特性1、不满足乘法交换律2、满足乘法结合律3、单位矩阵4、特殊技巧逆矩阵和转置1、逆矩阵2、转置总结前言线性代数的知识在机器学习中是非常重要的,几乎所有的运算都是基于矩阵(Matrix)、向量(Vector)的运算,因此打好线性代数的基础(不求精通,只要求基本的...原创 2019-01-19 13:31:42 · 388 阅读 · 0 评论 -
《吴恩达机器学习》6 Logistic 回归
Logistic 回归前言一、Logistic回归1、分类算法2、决策边界二、代价函数及梯度下降法1、代价函数2、简化模型3、梯度下降法三、高级优化算法及多分类问题1、几种高级优化算法2、多分类问题总结前言前面的课程我们讨论的都是线性回归方程,比如根据历史数据预测房价等,他们的共同特别就是数据是一种随着变量呈现一种线性关系。那么对于分类问题,如根据邮件的内容标记是否垃圾邮件,机器学习的解法又是...原创 2019-01-24 11:52:35 · 230 阅读 · 0 评论 -
《吴恩达机器学习》2 单变量线性回归
前言现在我们来学习Machine Learning的第一个算法线性回归(linear regression),废话不多说,先来看看以下这个例子上面是上一章节介绍的预测房价的模型,横坐标是Size(feet2),纵坐标是Price,那么我们怎么根据上面的样本拟合出我们想要的模型(上面品红色的直线)?我们都知道线性方程的公式是这样的f(x) = wx + b,其中的w是斜率,b是截距,那么怎么取...原创 2019-01-20 22:20:45 · 712 阅读 · 0 评论 -
《吴恩达机器学习》13 无监督学习(聚类)
无监督学习(聚类)前言一、K-均值算法1、定义2、优化目标二、使用技巧1、随机初始化2、选择聚类数总结前言前面我们介绍了线性回归,逻辑回归,SVM等都是监督学习的算法,下面我们来介绍第一个非监督学习的算法——聚类(Clustering)。在非监督学习中,我们需要将一系列无标签的训练数据,输入到一个算法中,然后我们告诉这个算法,为我们找找这个数据的内在结构给定数据。我们可能需要某种算法帮助我们寻...原创 2019-02-21 10:09:51 · 581 阅读 · 0 评论