吴恩达机器学习
文章平均质量分 91
smile~。
你笑起来真像好天气☆
展开
-
吴恩达机器学习作业 6.支持向量机
机器学习练习 6 - 支持向量机我们将使用支持向量机(SVM)来构建垃圾邮件分类器。 我们将从一些简单的2D数据集开始使用SVM来查看它们的工作原理。然后,我们将对一组原始电子邮件进行一些预处理工作,并使用SVM在处理的电子邮件上构建分类器,以确定它们是否为垃圾邮件。练习第一件事是看一个简单的二维数据集,看看线性SVM如何对数据集进行不同的C值(类似于线性/逻辑回归中的正则化项)。import numpy as npimport pandas as pdimport matplotlib.原创 2020-08-14 21:19:36 · 335 阅读 · 0 评论 -
吴恩达机器学习作业5.偏差和方差
机器学习练习 5 - 偏差和方差import numpy as npimport scipy.io as sioimport scipy.optimize as optimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsdef load_data(): """for ex5 d['X'] shape = (12, 1) pandas has trouble taking this原创 2020-08-13 21:41:05 · 247 阅读 · 0 评论 -
吴恩达机器学习13.推荐系统
推荐系统1.问题形式化从一个例子开始定义推荐系统的问题。假使我们是一个电影供应商,我们有 5 部电影和 4 个用户,我们要求用户为电影打分。前三部电影是爱情片,后两部则是动作片,我们可以看出Alice和Bob似乎更倾向与爱情片, 而 Carol 和 Dave 似乎更倾向与动作片。并且没有一个用户给所有的电影都打过分。我们希望构建一个算法来预测他们每个人可能会给他们没看过的电影打多少分,并以此作为推荐的依据。下面引入一些标记:nun_unu 代表用户的数量nmn_mnm 代表电影的数量r原创 2020-08-13 21:06:50 · 155 阅读 · 0 评论 -
吴恩达机器学习 12.异常检测
异常检测1.问题的动机什么是异常检测?假想你是一个飞机引擎制造商,当你生产的飞机引擎从生产线上流出时,你需要进行QA(质量控制测试),而作为这个测试的一部分,你测量了飞机引擎的一些特征变量,比如引擎运转时产生的热量,或者引擎的振动等等这样一来,你就有了一个数据集,从x(1)x^{(1)}x(1)到x(m)x^{(m)}x(m),如果你生产了m个引擎的话,你将这些数据绘制成图表,看起来就是这个样子:这里的每个点、每个叉,都是你的无标签数据。这样,异常检测问题可以定义如下:我们假设后来有一天,你有原创 2020-08-13 14:59:36 · 141 阅读 · 0 评论 -
吴恩达机器学习 11.聚类
一.聚类(Clustering)1.无监督学习非监督学习算法。即要让计算机学习无标签数据,而不是此前的标签数据。在非监督学习中,我们需要将一系列无标签的训练数据,输入到一个算法中,然后我们告诉这个算法,为我们找找这个数据的内在结构给定数据。我们可能需要某种算法帮助我们寻找一种结构。图上的数据看起来可以分成两个分开的点集(称为簇),一个能够找到我圈出的这些点集的算法,就被称为聚类算法。2.K-均值算法K-均值是最普及的聚类算法,算法接受一个未标记的数据集,然后将数据聚类成不同的组。K-均值是一个原创 2020-08-11 22:18:52 · 324 阅读 · 0 评论 -
吴恩达机器学习作业 3.1神经网络
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy.io import loadmatdata = loadmat('ex3data1.mat')datadata['X'].shape, data['y'].shapedef sigmoid(z): return 1 / (1 + np.exp(-z))def cost(theta, X, y, learningRate):原创 2020-08-09 22:43:55 · 297 阅读 · 0 评论 -
吴恩达机器学习 10.支持向量机
标题原创 2020-08-07 19:05:05 · 242 阅读 · 0 评论 -
吴恩达机器学习 9.机器学习系统设计
一.首先要做什么今天讨论机器学习系统的设计。将谈及在设计复杂的机器学习系统时,你将遇到的主要问题。同时我们会试着给出一些关于如何巧妙构建一个复杂的机器学习系统的建议本周以一个垃圾邮件分类器算法为例进行讨论。为了解决这样一个问题,我们首先要做的决定是如何选择并表达特征向量xxx。我们可以选择一个由100个最常出现在垃圾邮件中的词所构成的列表,根据这些词是否有在邮件中出现,来获得我们的特征向量(出现为1,不出现为0),尺寸为100×1。为了构建这个分类器算法,我们可以做很多事 例如:1.收集更多的原创 2020-08-04 17:01:44 · 205 阅读 · 0 评论 -
吴恩达机器学习 8.应用机器学习的建议
决定下一步做什么获得更多的训练样本——通常是有效的,但代价较大,下面的方法也可能有效,可考虑先采用下面的几种方法。尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减少正则化程度λ\lambdaλ尝试增加正则化程度λ\lambdaλ我们不应该随机选择上面的某种方法来改进我们的算法,而是运用一些机器学习诊断法来帮助我们知道上面哪些方法对我们的算法是有效的。1.评估假设如何判断一个假设函数是过拟合的呢?1.对假设函数h(x)h(x)h(x)进行画图,然后观察图形趋势但对于特原创 2020-08-04 13:27:43 · 104 阅读 · 0 评论 -
吴恩达机器学习作业 1线性回归
一.单变量线性回归数据可视化import numpy as npimport pandas as pdimport matplotlib.pyplot as plt#print(np.eye(5)) #简单练习,输出5乘5的单元矩阵path='ex1data1.txt'data = pd.read_csv(path,header=None,names=['Population','Profit'])#print(data.head())#print(data.describe()) #数原创 2020-08-01 20:17:09 · 373 阅读 · 0 评论 -
吴恩达机器学习 6.神经网络学习
一.非线性假设学习了线性回归和逻辑回归,二者都有的缺点有:当特征太多时,计算的负荷会非常大。假如:当使用x1,x2x_1,x_2x1,x2的多项式进行预测时,我们可以应用的很好。之前有了解到使用非线性的多项式项,能够帮助我们建立更好的分类模型。但是当我们有非常多的特征时,例如大于100个变量,我们希望用这100个特征来构建一个非线性的多项式模型,结果将是数量非常惊人的特征组合即便我们只采用两两特征的组合(x1x2+x1x3+...+x2x3+x2x4+...+x99x100x_1x_2+x_原创 2020-07-31 22:24:29 · 255 阅读 · 0 评论 -
吴恩达机器学习 7.神经网络参数的反向传播算法
1.神经网络算法的代价函数标记方法神经网络的训练样本有m个每个包含一组输入x和一组输出信号yL表示神经网络层数SIS_ISI表示每层的神经元个数SlS_lSl表示输出层的神经元个数SLS_LSL表示最后一层中处理单元的个数神经网络的分类定义为两种情况:二类分类和多类分类代价函数对比逻辑回归问题中的代价函数和神经网络中代价函数1.在逻辑回归中,我们只有一个输出变量,又称标量(scalar),也只有一个因变量y2.在神经网络中,我们可以有很多输出变量,我们的hθ(x)h_\原创 2020-07-31 22:21:03 · 331 阅读 · 1 评论 -
吴恩达机器学习 5.正则化
1.理解过拟合问题在训练集的基础上用模型去拟合,得到的假设可能能够非常好地适应训练集(代价函数可能几乎为0,即最小化J(θ)J(\theta)J(θ)几乎为0),但是可能会不能推广到新的数据。举例1,线性回归问题:第一个模型是一个线性模型,欠拟合,在后期仍过分执著于面积对房价影响的这个属性,不能很好地适应我们的训练集;第三个模型是一个四次方的模型,过于强调拟合原始数据,几乎对每一个数据都完美拟合,可以看出,若给出一个新的值使之预测,它将表现的很差,是过拟合,虽然能非常好地适应我们的训练集但在新输原创 2020-07-25 20:26:39 · 182 阅读 · 0 评论 -
吴恩达机器学习 4.逻辑回归(Logistic Regression)
1.分类问题在分类问题中,你要预测的变量yyy是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法。在分类问题中,我们尝试预测的是结果是否属于某一个类(例如正确或错误)。我们从二元的分类问题开始讨论。我们将因变量(dependent variable)可能属于的两个类分别称为负向类(negative class)和正向类(positive class),则因变量,其中 0 表示负向类,1 表示正向类。由上图可以看到用线性回原创 2020-07-25 14:23:51 · 371 阅读 · 0 评论 -
吴恩达机器学习 3.多变量线性回归
多变量线性回归1.多维特征在上次,我们讨论了单变量/特征回归模型,现在我们对房价模型增加更多的特征,例如卧室数量,楼层数量,房子使用年龄等构成一个含有多个变量的模型,模型中的特征为(x1,x2,x3,x4,x5等x_1,x_2,x_3,x_4,x_5等x1,x2,x3,x4,x5等)随后引入新注释nnn代表特征的数量x(i)x^{(i)}x(i)代表第iii个训练实例,是特征矩阵中的第iii行,是一个向量(vector)xj(i)x^{(i)}_jxj(i)代表特征矩阵中第 iii行原创 2020-07-23 19:07:17 · 325 阅读 · 0 评论 -
吴恩达机器学习 2.矩阵和向量知识
(之前有学过线性代数,基本知识几乎了解,就记一下一些可能有用的公式吧)1.矩阵的逆:如矩阵A是一个m×mm\times mm×m矩阵,如果有逆矩阵,则:AA−1=A−1A=IAA^{-1}=A^{-1}A=IAA−1=A−1A=I对于单位矩阵,有AI=IA=AAI=IA=AAI=IA=A2.转置:3.体会利用矩阵相乘的方便性...原创 2020-07-22 19:08:42 · 220 阅读 · 0 评论 -
吴恩达机器学习笔记 1单变量线性回归
1.小例子,鸡尾酒酒会算法代码[W,s,v]=svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x’);svd函数:奇异值分解的缩写2.课程中自定义字母含义m:训练样本的数量x:输入变量或者特征y:表示输出变量即训练的目标变量(x,y):表示一个训练样本(x(i),y(i)):表示特定训练样本,上标i表数据集索引,表格中第i行h:一个假设函数,给出x,h作为引导输出y3.基础模型,线性回归(单变量线性回归)hθ=θ0+θ1xh_\theta=\the原创 2020-07-22 10:00:07 · 166 阅读 · 1 评论