![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
机器学习博客
丰brother
这个作者很懒,什么都没留下…
展开
-
分位数回归(Quantile Regression)代码解析
实验代码本文采用python sklearn库中,作为quantile regression的示例代码。以下为详细解析:import numpy as npimport matplotlib.pyplot as pltfrom sklearn.ensemble import GradientBoostingRegressor%matplotlib inlinenp.random.seed(1)#设置随机数生成的种子def f(x): """The function to pre原创 2020-07-02 16:52:32 · 7676 阅读 · 1 评论 -
分位数回归(Quantile Regression)
数据采用分位数回归在执行回归分析时,仅对问题进行数值预测还不够,您还需要表达您对该预测的信心。例如,如果您正在查看特定市场中房屋的价格,并且您的模型预测房屋的售价为262,458.45美元,那么您对模型的预测是否正确的信心如何?希望您的直觉会说这是真的,而且可能性很小,但是也许您的模型很接近实际答案。我们需要一种在一定范围内具有一定置信度的同时预测值范围的方法。输入分位数回归。与常规线性回归不同,常规线性回归使用最小二乘法来计算不同特征值之间目标的条件均值,分位数回归估计条件 中位数 目标的。分位数回.翻译 2020-06-29 14:56:31 · 19930 阅读 · 1 评论 -
吴恩达《Machine Learning》-Recommender Systems推荐系统(十六)
我们已经在这课上看到了特征对于机器学习很重要,选择的特征将对机器学习算法的性能产生很大的影响。所以在机器学习中对于一些问题,一些算法可以自动地尝试一套好的特征。还有很多其他的,但是刻在推荐系统中的,将能够对学习这些功能的想法有一点了解,我认为,在机器学习中,至少可以看到一个这样的例子。其中nμ表示用户数量nm表示电影数量r(i,j)=1 表示假如用户j对于第i个电影进行过评分y^(i,...原创 2019-08-12 00:07:16 · 506 阅读 · 0 评论 -
吴恩达《Machine Learning》-Anomaly Detection异常检测(十五)
Anomaly Detection异常检测就是将异常的数据检测出来。举个例子:当一辆飞机生产完后,我们需要对它的性能指标进行检测,例如引擎运算时产生的热量,引擎的震动等。然后我们对这些特征向量进行采集,那么就有了一个数据集了。假如我们的测试数据在我们数据集允许的误差范围内,那么这个数据是正常的,假如离误差范围太远,那么这个数据则异常数据的。假如要更为正式定义异常检测问题,首先我们有一组从 ...原创 2019-08-05 12:06:12 · 504 阅读 · 0 评论 -
吴恩达《Machine Learning》-Dimensionality Reduction降维(十四)
Data Compression数据压缩为了让机器学习算法的运行效率更高,我们一般对于一些有特点的数据采取数据压缩。如上图,数据集大多分布在一条线上附近,这种数据我们可以采用数据压缩。其操作是将直线附近的数据投影在本直线上。相当于将一个二维数据,降维成一维数据。同理多于三维数据,我们也可以考虑投影在二维平面。(一般三维数据分布在二维平面附近)。此时我们仅仅需要两个维度,即投影二维平面的Z...原创 2019-07-22 20:03:55 · 356 阅读 · 0 评论 -
吴恩达《Machine Learning》-Unsupervised Learning无监督学习(十三)
监督学习非监督学习在无监督学习中,我们面对的是一组无标记的训练数据。数据之间不具有任何关联的标记。所以我们需要在数据点中,求出数据的分布结构。其中一种算法就是聚类算法(Clustering Algorithm),用来分析把数据分成每一组。练习题:选择(A,B,C)D.聚类算法不是唯一的非监督学习算法k均值聚类算法(k-means clustering algorithm)...原创 2019-07-22 19:28:42 · 606 阅读 · 0 评论 -
吴恩达《Machine Learning》-Support Vector Machines支持向量机(十二)
在逻辑回归中假如真实值y=1,我们想要预测值接近于1,那么在逻辑回归中也就是θT*x远大于0图像中,横轴为z也就是θT*x,纵轴为损失函数。这也证明了左图,当θT*x越大时损失函数越小。(我们想要预测值接近于1,那么在逻辑回归中也就是θT*x远大于0)假如y=1时,后面(1-y)log(1-hθ(x))为0。画出图像如左面所示。其中蓝色线,为支持向量机算法y=1时的曲线。1.支持向量...原创 2019-07-16 23:55:19 · 999 阅读 · 0 评论 -
吴恩达《Machine Learning》-Machine Learning System Design机器学习系统设计(十一)
Prioritizing What to Work On确定工作的优先顺序建立垃圾邮件(拼写错误)和非垃圾邮件的监督学习分类器如果数据中存在此单词,向量中标为1。如果数据中不存在此单词,向量中标为0。对于邮件特征,我们经常挑选出频率高的单词,而不是手动根据经验选择100个单词。减少错误率的方法(不一定都有效,具体问题具体分析)1.收集大量的数据,也就是样本,来增大我们的训练量。...原创 2019-07-14 17:03:06 · 384 阅读 · 0 评论 -
吴恩达《Machine Learning》-Advice for Applying Machine Learning应用机器学习的建议(十)
假如预测数据与真实数据之间的差距很大。可以尝试一下步骤:Machine learning diagnostic机器学习诊断:来判断机器学习算法的内部,并且获得提高性能的指导练习题:选择(B,C,D)A.根据感觉判断肯定是错的B.诊断可以提供指导,哪些可能更有成效的事情,试图改善学习算法。C.执行和尝试诊断可能很费时,但它们仍然可以很好地利用您的时间。D.诊断有时会排除某些操作过程(...原创 2019-07-11 11:36:51 · 272 阅读 · 0 评论 -
吴恩达《Machine Learning》-machine-learning-ex4神经网络学习作业(四)
nnCostFunction.m对于神经网络我们需要计算其损失函数值J(θ)与grad梯度。1.前向传播计算损失函数值J(θ)首先计算hθ(x)=a(3)公式如下:加入正则项的损失函数公式(注意程序中为向量表达,此处为数值表达):2.反向传播计算梯度grad公式中使用了g’(z(2)),故应先实现sigmod梯度值函数sigmoidGradient(z)。function [...原创 2019-06-26 23:18:01 · 888 阅读 · 0 评论 -
吴恩达《Machine Learning》-Neural Networks Learning神经网络学习(九)
L表示神经网络有多少层,本例中为4层L=4st表示神经网络一层中有多少个神经节点,s1=3,s2,s3=5,s4=4对于单分类问题,sL=1(sL也就是最后一层输出层)对于多分类问题,sL=k(k>=3)k表示结果输出多少类别。若k<3,则输出为1类,剩下的另一类采用全集-当前类即可。损失函数cost function:最后输出多少类,k等于多少。对于正则项,不加入...原创 2019-06-26 16:27:38 · 545 阅读 · 0 评论 -
吴恩达《Machine Learning》-machine-learning-ex3多分类问题与神经网络作业(三)
lrCostFunction.mfunction [J, grad] = lrCostFunction(theta, X, y, lambda)%LRCOSTFUNCTION Compute cost and gradient for logistic regression with %regularization% J = LRCOSTFUNCTION(theta, X, y, la...原创 2019-06-18 11:44:54 · 600 阅读 · 1 评论 -
吴恩达《Machine Learning》-Neural Networks Representation神经网络介绍(八)
对于特征很多的情况,采用 polynomial regression 多项式回归会产生指数型的时间复杂度。O(n^3)(次方数=多项式多少阶)图像特征处理:按像素点处理练习题:选择(C)像素点共有100100=110^4 quadratic terms 平方项为n2/2时间复杂度为o(n2) 故 (104)2/2=5*10^7神经网络原理:将听觉的脑皮层,连接到视觉信号,听觉...原创 2019-06-17 19:00:16 · 377 阅读 · 0 评论 -
吴恩达《Machine Learning》-machine-learning-ex2逻辑回归作业(二)
sigmoid.mfunction g = sigmoid(z)%SIGMOID Compute sigmoid function% g = SIGMOID(z) computes the sigmoid of z.% You need to return the following variables correctly g = zeros(size(z));% ======...原创 2019-06-16 22:41:44 · 447 阅读 · 0 评论 -
吴恩达《Machine Learning》-machine-learning-ex1线性回归作业(一)
ex1.m %% Machine Learning Online Class - Exercise 1: Linear Regression % Instructions % ------------ % % This file contains code that helps you get started on the % lin...原创 2019-06-16 22:26:03 · 354 阅读 · 0 评论 -
吴恩达《Machine Learning》-Overfitting过拟合解决(七)
Overfitting数据过拟合当我们有很多特征,我们的模型拟合训练数据非常好,但是对于新的预测数据,缺乏泛化能力。Underfit数据欠拟合对于训练数据的拟合能力过于弱逻辑回归分类情况练习题:选择(C),过拟合能够很好地拟合训练数据。但是对于新的数据预测能力差,没有泛化能力解决过拟合问题1.减少特征的数量2.使用正则化Regularization正则化为了解决过拟...原创 2019-06-16 21:10:30 · 1187 阅读 · 0 评论 -
吴恩达《Machine Learning》-Logistic Regression逻辑回归(六)
分类问题选择 哪类是正例,哪类是负例,是随机的。不影响。为什么不用线性回归做分类问题(不使用)使用线性回归,将所有大于0.5的预测映射为1,将所有小于0.5的预测映射为0。先使用线性回归匹配数据,之后需要找到门限值,假设例子中门限值为hθ(x)=0.5。把正负例子都投影到x轴。其中大于0.5的都为正例,小于0.5的都为负例。当有极端数据时,使用线性回归匹配数据。会导致回归线更偏...原创 2019-06-15 15:07:24 · 577 阅读 · 0 评论 -
吴恩达《Machine Learning》-Octave编程教学与作业提交(五)
1.%为注释>> 1 == 2 % falseans = 02.~= 为不等于号>> 1~=2ans = 13.&&逻辑与>> 1&&0ans = 04.||或运算>> 1||0ans = 15.抑或运算>> xor(1,0)ans = 16.分号关闭提示7.提取...原创 2019-06-14 14:40:48 · 2019 阅读 · 0 评论 -
吴恩达《Machine Learning》-Linear Regression with Multiple Variables多元线性回归(四)
多特征情况Multiple Features多特征角标解释:m 样本个数n 特征个数 本例中,n=4 (x1,x2,x3,x4)x(i)第i行特征向量 x(2)=[1416,3,2,40]xj(i) 第i行特征向量的第j个特征值 x3(2)=2练习题:选择(C)第4行第一个。(o(╥﹏╥)o 英文看了一会才看懂)多元线性回归multivariate linear regre...原创 2019-06-10 21:55:34 · 368 阅读 · 0 评论 -
吴恩达《Machine Learning》-gradient descent 梯度下降(三)
在实际中,我们有n个参数θ0,θ1,θ2```````θn在此我们以两个参数举例,最小化J(θ0,θ1)算法:我们以θ0=0,θ1=0开始,保持θ0,θ1参数改变,然后查看J(θ0,θ1)。当J(θ0,θ1)为最小的时候 即为结束从图中点出发,假设你身处在山顶上,即为寻找当前最快下降的方向下山。下降一个位置后,再次寻找当前最快下降的方向下山。最后抵达了局部最优点(低点)另一个位...原创 2019-06-05 22:59:01 · 552 阅读 · 0 评论 -
吴恩达《Machine Learning》-cost function损失函数(二)
问题:如何选择参数θi?m代表样本数量θ表示 参数 机器学习主要就是学习函数中的参数比如一次函数 不同的参数 会产生不同的函数目的:找到一组θ0,θ1参数使 图中函数的线 尽可能多的拟合到更多的数据点。故也就是使图中线上的函数值hθ(x) 与 数据点的值 y 之间的距离最小。为了防止hθ(x) - y 产生的正负值相加问题。采用平方差,都转换为正数。之后将m个样本的差值求和,除以...原创 2019-06-04 22:08:40 · 789 阅读 · 0 评论 -
吴恩达《Machine Learning》-概念(一)
入坑吴恩达大佬的机器学习课程。纯英文教学和作业还有编程作业还是很挑战的,希望早日结课拿证。机器学习定义T是此次机器学习的任务测试题:“A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its perfor...原创 2019-06-04 21:53:36 · 1542 阅读 · 0 评论