![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
王恩达机器学习入门
文章平均质量分 94
国易
这个作者很懒,什么都没留下…
展开
-
机器学习第一周
目录机器学习定义分类监督学习非监督学习关于回归问题中的线性回归算法单变量线性回归算法一些背景知识矩阵与向量机器学习定义Arthur Samuel (1959)定义机器学习为:不用明确编程,给予计算机学习能力的领域(Machine Learning: Field ofstudy that gives computers the ability to learnwithout being ex...原创 2018-11-06 20:09:12 · 293 阅读 · 0 评论 -
机器学习8:集群
集群算法非监督学习K-均值算法优化目标随机初始化集群中心点选取集群中心点数量K非监督学习如下图所示,,非监督学习是把相距较近的点划分为K个簇具体可以应用于市场分割、社交网络分析、组织计算集群和天文数据分析K-均值算法输入:需要划分的集群数量K,以及训练集{x(1),x(2),…,x(m)}\{x^{(1)},x^{(2)},\dots,x^{(m)}\}{x(1),x(2),…,x(m...原创 2018-12-10 17:56:57 · 1125 阅读 · 0 评论 -
机器学习11:应用之图片字符识别
应用之图片字符识别问题简介及解决流程滑动窗口行人检测文本检测字符分割识别单个字符上限分析问题简介及解决流程问题如上图,如何从图片中识别出若干文字信息。解决流程:文本检测(将有文字的部分整块截图)2. 字符分割(将截图分割成单个字符的图)3. 识别分割出来的图中的字符以上三个流程可分别安排团队成员(1-5个)进行处理滑动窗口行人检测先指定一定的长宽比(...原创 2018-12-13 12:00:35 · 867 阅读 · 0 评论 -
机器学习10:大规模数据学习
大规模数据学习大规模数据集学习随机梯度下降小批量梯度下降随机梯度下降的收敛在线学习映射约减大规模数据集学习得数据者得天下,一般而言,在进行机器学习时,比较好的情况时拥有大量的数据以及高方差(过拟合)的模型。在处理大量数据前,可以利用之前在另一篇博文中提到的学习曲线,查看模型是高偏差还是高方差,确定是高方差后再处理大量数据:随机梯度下降原梯度下降(批量(Batch)梯度下降)过程:如...原创 2018-12-12 20:33:16 · 433 阅读 · 0 评论 -
机器学习9.5:推荐系统
推荐系统参数基于内容的推荐参数nun_unu表示用户数量nmn_mnm表示电影数量r(i,j)r(i,j)r(i,j)表示用户j是否有评价电影i,若是,则值为1y(i,j)y(i,j)y(i,j)表示用户j对电影i的评分基于内容的推荐$$...原创 2018-12-12 15:59:41 · 187 阅读 · 0 评论 -
机器学习7:SVM(支持向量机)
支持向量机优化目标大间距分类器数学原理优化目标对于逻辑回归的假设函数而言,在y=1的情况下,我们希望假设函数约等于1,且z远大于0;在y=0的情况下,我们希望假设函数约等于0,且z远小于0。对于支持向量机,则希望在y=1的情况下,z大于等于0,;在y=0的情况下,z取其他值(小于0)对于逻辑回归的代价函数,其中的loghθ(x)logh_\theta(x)loghθ(x)替代...原创 2018-12-01 12:15:05 · 196 阅读 · 0 评论 -
机器学习第5周
神经网络代价函数定义变量表示式子反向传播(重点)代价函数的偏导数原理剖析代价函数定义变量L是神经网络的总层数sls_lsl为第lll层的单元数量(不包括偏置单元)K为输出层的单元数量/分类类型数量表示式子神经网络的代价函数是正则化逻辑回归的代价函数的概括:J(θ)=−1m∑i=1m∑k=1K[yk(i)log(hθ(x(i))k)+(1−yk(i))log(1−hθ(x(...原创 2018-11-19 23:14:10 · 258 阅读 · 0 评论 -
机器学习6:评估
评估评估模型(假设函数)训练集+测试集测试集的误差训练集+验证集+测试集诊断:偏差 vs 方差诊断后的调整评估神经网络过拟合/欠拟合平衡偏差和方差评估模型(假设函数)当要对我们的预测误差作故障排除,不外乎通过以下这几种方式:增加更多的训练样本减少特征种类增加特征种类(增加额外的特征或者多项式特征(x1x2,x12,x22)(x_1x_2,x_1^2,x_2^2)(x1x2,x12...原创 2018-11-23 18:46:12 · 316 阅读 · 0 评论 -
机器学习第3周(上)
监督学习之分类问题1、定义2、模型设置2.1、背景2.2、逻辑回归模型2.2.1、假设函数(模型)2.2.2、代价函数2.2.3、梯度下降2.2.4、软件自带的高级优化算法2.3、多元分类处理1、定义常见的二元分类如下:邮件:垃圾邮件/非垃圾邮件网络交易:欺诈/非欺诈癌症:恶性/良性多元分类如下:将邮件分类为:工作、家人、朋友等气候分类为:晴天、阴天、下雨、下雪等...原创 2018-11-12 21:34:34 · 196 阅读 · 2 评论 -
机器学习第4周
神经网络背景-非线性假设的缺陷神经元和大脑模型展示1模型展示2直观例子1直观例子2多元分类背景-非线性假设的缺陷特征量增加过快非线性处理拥有多个特征的数据集是非常棘手的,如果将输入特征变为二次,如:将x1、x2、x3x_1、x_2、x_3x1、x2、x3变为x12、x22、x32、x1x2、x1x3、x2x3x_1^2、x_2^2、x_3^2、x_1x_2、x_1x_3、x_2x_...原创 2018-11-15 13:59:40 · 166 阅读 · 0 评论 -
机器学习第二周(上)
目录线性回归多元线性回归训练集假设函数代价函数特征缩放和均值归一化背景具体实现选择学习速率$\alpha$慎重选择特征合理选择模型(假设函数)正规方程法用途求解思路与梯度下降相比较潜在的不可逆性线性回归多元线性回归训练集面积卧室数量层数年份价格21045145460141632402321534323031585221...原创 2018-11-08 21:37:57 · 176 阅读 · 0 评论 -
机器学习第三周(下): 过拟合与正则化
拟合1、拟合程度1.1、过拟合1.1.1、原因1.1.2、理论解决方法1.1.3、实际解决方法之一:正则化1.1.3.1、正则化线性回归1.1.3.2、正则化正规方程法1.1.3.3、正则化逻辑回归1、拟合程度对于线性回归:对于逻辑回归:左图欠拟合,高偏差。中图正合适。右图过拟合,高方差。1.1、过拟合1.1.1、原因由上面的右图可知,特征太多(线性回归中四个特征:xxx、...原创 2018-11-13 22:44:25 · 295 阅读 · 0 评论 -
机器学习第二周(下)
目录Octave基操,勿6运算赋值列出数值向量和矩阵移动数据尺寸加载数据索引组合计算数据初始化计算矩阵Octave基操,勿6运算5+63-25*81/22^61 == 2 %等于, false 逻辑值,01 ~= 2 %不等于, true. 逻辑值,1 note, not "!="1 &amp原创 2018-11-11 17:38:17 · 1615 阅读 · 0 评论 -
机器学习9:异常检测
异常检测起因高斯分布算法过程评估算法好坏异常检测和监督学习如何选择特征多元高斯分布起因例如:一个飞机引擎,它具有:功率、振动强度等特征。在生产时,怎么自动判断一个飞机引擎是好是坏。这需要用到正常的飞机引擎的样本集合(每个样本包括n个特征),再通过该样本集合判断待检测的飞机引擎是否不正常。如上图,通过p(x)p(x)p(x)进行判断,当p(x)≥ϵp(x)\ge \epsilonp(x)...原创 2018-12-10 21:43:15 · 348 阅读 · 0 评论