machine learning
文章平均质量分 59
记录机器学习的点点滴滴
Record a little bit of machine learning
qq_31589695
热爱学习
展开
-
遗传编程——java语言实现
对于遗传编程的理论请参看《集体智慧编程》一书,书中对于遗传编程的原理有详细的阐述。遗传编程的大体执行过程如下图所示:我们使用树形表示法来描述图中遗传编程中的程序。下面进入到我们这篇博客的重点了,用遗传编程实现格子战争游戏(相互追逐游戏)——java语言实现一、由于是使用树形表示法来描述,所以我们首先需要构造一棵树树节点的构造由于有三种类型的节点,所以首先我们定义一个通用的节点接口public in...原创 2018-06-04 23:45:44 · 1643 阅读 · 0 评论 -
Win10 Anaconda 安装tensorflow-gpu遇到的问题以及解决方案
对于window10安装tensorflow,tensorflow官网已经有比较好的教程网址为:https://tensorflow.google.cn/install/install_windows下面我主要来说下我在安装的过程中遇到的问题1、使用pip安装过程中,pip安装过慢导致超时此时需要换源详细请看:https://blog.csdn.net/darkfour/article/detai...原创 2018-03-26 20:59:49 · 2192 阅读 · 0 评论 -
线性回归与逻辑回归python实现
1、线性回归定义一个线性回归类LinearRegression只使用一个库numpy在一开始导入from numpy import *(1)先进行初始化由于传入的是训练样本X以及标签y,所以初始化函数为:def __init__(self, X, y): self.m = len(X) self.n = len(X[0]) self.theta = ones((self.n...原创 2018-04-10 13:15:51 · 1803 阅读 · 0 评论 -
机器学习(二十)——文本分类的事件模型(Event models for text classification)
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf为了结束我们对生成性学习算法的讨论,让我们再来谈谈一个专门用于文本分类的模型。虽然我们已经介绍了朴素贝叶斯,但它在许多分类问题例如文本分类上都会很好地工作,会有一个相关的模型做得更好。在文本分类的具体背景下,提出的朴素贝叶斯采用所谓的多元伯努利事件模型。在这个模型中,我们假设产生电子邮件的方式是首...翻译 2018-05-30 21:14:52 · 1702 阅读 · 0 评论 -
机器学习(十九)——拉普拉斯光顺(Laplace smoothing)
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf我们已经描述过的朴素贝叶斯算法能够很好地解决许多问题,但是有一个简单的改变使得它更好地工作,特别是对于文本分类。让我们简单地讨论算法在当前形式下的问题,然后讨论如何修复它。考虑垃圾邮件/电子邮件分类,让我们假设在完成CS229并完成了对项目的出色工作之后,您决定在2003年6月左右将您所做的工作提...翻译 2018-05-30 20:48:48 · 6709 阅读 · 0 评论 -
机器学习(十八)——朴素贝叶斯(Naive Bayes)
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf在GDA中,特征向量x是连续的实数向量。现在让我们来谈谈一种不同的学习算法,其中是离散值的。对于我们的引入示例,考虑使用机器学习构建一个电子邮件垃圾邮件过滤器。在这里,我们希望根据是否是垃圾邮件,或非垃圾电子邮件进行分类。在学习了这一点之后,我们就可以让我们的邮件阅读器自动过滤掉垃圾邮件,或者将它...翻译 2018-05-22 16:03:54 · 465 阅读 · 0 评论 -
机器学习(十七)——高斯判别分析模型(The Gaussian Discriminant Analysis model)
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf当我们有一个输入特征x是连续值随机变量的分类问题时,我们可以使用高斯判别分析(GDA)模型,该模型p(x|y)使用多元正态分布。这个模式为:写出它的展开形式,如下所示:这里,我们的模型的参数是φ,Σ,µ0和µ1。(请注意,当存在两个不同的均值向量µ0和µ1时,通常只使用一个协方差矩阵Σ。)这些数据...翻译 2018-05-16 07:52:37 · 1784 阅读 · 0 评论 -
机器学习(十六)——多元正态分布(The multivariate normal distribution)
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdfn维的多元正态分布,也称为多元高斯分布,是用均值向量和协方差矩阵参数化的,其中Σ≥0是对称的和正半定的。也被写作,它的密度函数为在上面的方程中,“|Σ|”表示矩阵Σ的行列式。对于一个随机变量X分布的,均值是向量值随机变量Z的协方差定义为。这是一个实值随机变量方差的概念.协方差也可以定义为。(你应该...翻译 2018-05-15 22:30:14 · 47469 阅读 · 5 评论 -
机器学习(十五)——生成学习算法(Generative Learning algorithms)
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf到目前为止,我们主要讨论的学习算法,模型p(y|x;θ),即给定x的条件下,y的条件分布。例如,Logistic回归将p(y|x;θ)建模为,其中g是Sigmoid函数。下面,我们将讨论一种不同类型的学习算法。考虑一个分类问题,根据动物的一些特征,我们想要学习区分大象(y=1)和狗(y=0)。给定...翻译 2018-04-25 08:43:36 · 1165 阅读 · 0 评论 -
机器学习(十四)——证明softmax回归属于GLM模型族
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf让我们再看一个GLM的例子。考虑一个分类问题,其中响应变量y可以接受任意一个k值,因此y∈{1,2,…,k}。例如,与其将电子邮件分为垃圾邮件或非垃圾邮件--垃圾邮件--这可能是二进制分类问题--不如将其分为三类,例如垃圾邮件, 个人邮件和与工作有关的邮件。响应变量仍然是离散的,但现在可以接受两个...翻译 2018-04-25 08:43:21 · 737 阅读 · 0 评论 -
机器学习(十三)——证明逻辑回归属于GLM模型族
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf我们现在考虑Logistic回归。这里我们以二进制为例,其中y∈{0,1}。鉴于y是二值的,因此,选择伯努利分布的伯努利族似乎是自然的,以便对给定的x的条件分布y进行建模。在我们将Bernoulli分布表述为指数族分布的过程中,我们有。此外,注意,如果y|x; θ ~Bernoulli(φ),那么...翻译 2018-04-25 08:43:09 · 411 阅读 · 0 评论 -
机器学习(十二)——证明普通最小二乘属于GLM模型族
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf为了证明普通最小二乘是GLM模型族的特例,考虑目标变量y(在GLM术语中也称为响应变量)设置为连续的,我们将给定x的条件分布建模为一个高斯分布(这里µ可能依赖x)。因此,我们把上面的ExponentialF amily(η)分布设为高斯分布。正如我们以前看到的,在把高斯描述为指数族分布的过程中,我...翻译 2018-04-25 08:42:55 · 388 阅读 · 0 评论 -
机器学习(十一)——构造广义线性模型(Constructing GLMs)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf假设您希望建立一个模型来估计在任何给定时间内到达您的商店的顾客数量y(或您网站上的页面浏览量),基于某些特点x,如商店促销,最近的广告,天气,每周一天等。我们知道泊松分布通常给出了一个很好的游客数量模型。知道了这一点,我们如何才能为我们的问题建立一个模型?幸运的是,Poisson是指数族分布,因此...翻译 2018-04-25 08:42:42 · 729 阅读 · 0 评论 -
机器学习(十)——指数族(The exponential family)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf为了达到广义线性模型,我们首先定义指数族分布。我们说如果一个分布是指数族分布,那么它可以用以下形式表示:这里,η被称为分布的自然参数(也称为规范参数);T(y)是充分统计量(对于我们所考虑的分布,通常情况下有T(y)=y);a(η)被称为对数划分函数。这一项本质上是起到了正则化常数的作用,确保了分...翻译 2018-04-24 22:11:12 · 12934 阅读 · 1 评论 -
机器学习(九)——用牛顿法来最大化ℓ(θ)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf回到使用sigmoid函数作为g(z)g(z) 的 logistic回归问题,让我们讨论一种不同的最大化 l(θ)l(θ) 的算法。开始之前,我们先想一下牛顿法去求函数零点。假如我们有一些函数 f:R↦Rf:R↦R, 接着我们希望找到一个 θθ ,满足 f(θ)=0f(θ)=0,其中 θ∈Rθ∈R...翻译 2018-04-24 22:11:01 · 793 阅读 · 0 评论 -
机器学习(八)——感知器学习算法(The perceptron learning algorithm)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf现在,让我们简要地谈论一个历史上曾经令人很感兴趣的算法,当学习到学习理论章节的时候我们将还会提到这个。试想一下修改logistic回归的方法,来“迫使”它能够输出除了0或1亦或是其它以外的输出值。为了达到这个目的,自然而然地会想到去改变阈值函数 gg 的定义:接下来,如果我们和前面一样令 hθ(x...翻译 2018-04-24 22:10:50 · 760 阅读 · 0 评论 -
机器学习(七)——逻辑回归(Logistic regression)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf我们可以忽略y是离散值的事实来处理分类问题,并利用我们的线性回归算法来尝试根据给定的x来预测y。但是,在这种方法性能很差的情况下,构造示例是很容易的。直观地说,当我们知道y∈{0,1}时,取大于1或小于0的值也是没有意义的。为了解决这个问题,让我们改变假设的形式。我们将选择其中,称为逻辑函数或Si...翻译 2018-04-24 22:10:38 · 409 阅读 · 0 评论 -
机器学习(六)——局部加权线性回归(Locally weighted linear regression)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf考虑从x∈R中预测y的问题。下面最左边的图显示了将拟合到数据集的结果。我们看到数据并不是直线上的,所以拟合不是很好。 取代原来的方法,如果我们加上一个额外的特征 ,并用 来拟合数据,你会发现效果稍微好了那么一点(看中间这幅图片)。似乎可以天真地认为,我们添加的特征越多越好。然而,添...翻译 2018-04-24 22:10:24 · 11541 阅读 · 5 评论 -
机器学习(五)——概率解释(Probabilistic interpretation)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf当面临回归问题时,为什么线性回归,特别是为什么最小二乘损失函数可能是一个合理的选择?在本节中,我们将给出一组概率假设,在此假设下,最小二乘回归是一种非常自然的算法。让我们假设目标变量和输入是通过下面的方程关联的上面的是误差项,用于考虑建模时忽略的变量所产生的影响( 比如可能某些特征...翻译 2018-04-24 22:10:09 · 2124 阅读 · 0 评论 -
机器学习(四)——最小二乘(Least squares)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf借助矩阵导数的工具,现在让我们继续以封闭的形式找到的值,使得最小化。我们从用矩阵向量表示法重写开始。给定一个训练集,设计矩阵为矩阵,(实际上是,如果我们包括拦截项),其中每一行为训练样本的输入值:另外,让是包含训练集中所有目标值的m维向量:现在,由于,我们可以很容易的证明:...翻译 2018-04-24 22:09:55 · 2870 阅读 · 0 评论 -
机器学习(三)——最小均方算法(LMS algorithm)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf我们要选择,以便最小化。要做到这一点,让我们使用一个搜索算法,它以的初始值开头,反复变化使越来越小,直到我们收敛到一个值,使得最小化。具体来说,让我们考虑梯度下降算法,由一些初始化的开始,然后反复执行更新:(对的所有值同时执行此更新)在这里,被称为学习速率。这是一个反复朝的下降幅度最大...翻译 2018-04-24 22:09:27 · 7901 阅读 · 1 评论 -
机器学习(二)——线性回归(Linear Regression)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf为了使我们的住宅更有趣,我们可以考虑一个稍微更丰富的数据集,我们也知道每个房间的卧室数量: 2104 3 400 1600 3 330 2400 3 369 1416 2 232 3000 4 ...翻译 2018-04-24 22:09:11 · 624 阅读 · 0 评论 -
机器学习(一)——监督学习(Supervised learning)
原文:http://cs229.stanford.edu/notes/cs229-notes1.pdf让我们从几个有监督的学习问题的例子开始。假设我们有一个数据集,显示来自俄勒冈州波特兰的47个住宅的起居面积和价格: 2104 400 1600 330 2400 369 1416 232 3000 540 我们可以...翻译 2018-04-24 22:08:51 · 3180 阅读 · 0 评论