关闭
当前搜索:

lambda函数的用法简记

lambda函数 lambda是一个匿名函数,其语法为:lambda parameters:express 一般用法 import numpy as np sigmoid = lambda x:1./(1.+np.exp(-x)) sigmoid(np.array([-10, 0, 10])) array([ 4.53978687e-05, 5.00000000e-01, 9.9...
阅读(212) 评论(0)

关于plt.cm.Spectral

cmap = plt.cm.Spectral用法理解 %matplotlib inline import numpy as np import matplotlib.pyplot as plt np.random.seed(1) # 产生相同的随机数 X = np.random.randn(1, 10) Y = np.random.randn(1, 10) label = np.arra...
阅读(357) 评论(0)

决策树ID3算法及实现

0. 信息论 信道模型和信息的含义 信息论是关于信息的本质和传输规律的理论。 信道模型:信源(发送端)-> 信道 -> 信宿(接收端) 1. 通信过程是在随机干扰的环境汇中传递信息的过程 2. 信宿对于信源的先验不确定性:在通信前,信宿不能确切的了解信源的状态; 3. 信宿对于信源的后验不确定性:在通信后,由于存在干扰,信宿对于接收到的信息仍然具有不确定性 4. 后验不确定性总是...
阅读(1527) 评论(0)

机器学习笔记-Validation

可以使用regularization来避免overfitting的发生。监督机器学习问题可以概括为:在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据,而规则化参数是防止我们的模型过分拟合我们的训练数据。Regularization的具体做法是我们不只是专注在最小化EinE_{in}上,而是在EinE_{in}上加上一个regularizer,将得到的augmented...
阅读(6016) 评论(0)

机器学习笔记-Regularization

Regularized Hypothesis Set 上一篇中说到,在机器学习中最大的危险是过拟合。 当使用的模型的复杂度过高,资料量不多,资料存在噪声或者是目标函数很复杂的时候都有可能会出现过拟合的情况。Regularization可以看成是对付overfitting的一个方法。 右图是一个典型的overfitting的情形,资料量大小为5,当我们使用一个4次甚至是更高次的多项式去...
阅读(6031) 评论(0)

机器学习笔记-Hazard of Overfitting

什么是过拟合 将线性模型加上非线性的转换就可以很方便的产生非线性的模型来完成我们的学习任务。但是这样做的缺点是要付出额外的模型复杂度代价。正是这个额外的模型复杂度会造成机器学习中一个很容易出现和很难解决的问题就是过拟合的问题,本小节先分析过拟合产生的原因, 然后给出解决的方法。 例子 以上是一个一维的回归分析的例子。一共有5个资料点,x随机产生,y是将x带入一个二次多项式然后再加...
阅读(837) 评论(0)

机器学习笔记-Nonlinear Transformation

本系列共四篇,为林轩田机器学习基础篇学习笔记。线性模型通过非线性的变换可以得到非线性的模型,增强了模型对数据的认识能力,但这样导致了在机器学习领域中一个很常见的问题,过拟合。为了解决这个问题引入了规则化因子。为了解决规则化因子的选择,模型的选择,参数的选择等问题引入了validationvalidation的相关方法。 机器学习笔记-Nonlinear TransformationNonlinear...
阅读(5890) 评论(0)

机器学习笔记-Matrix Factorization

Matrix Factorization Linear Network Hypothesis 上一篇介绍了RBF NetworkRBF\ Network,简单来说这个模型可以看成是由到很多不同的中心点的相似性的线性组合,其中使用聚类算法kk-MeansMeans来计算中心点。 机器学习算法的目的是希望能从资料datadata中学习到某种能力skillskill。例如一个经典的场景是,从用...
阅读(6629) 评论(0)

机器学习笔记-Radial Basis Function Network

Radial Basis Function Network 先从一个之前介绍过的模型Gassian SVMGassian\ SVM 说起,简单的来说这个模型就是在SVMSVM中加入了高斯核函数,从而可以做到在无限维度的空间中找最大分隔超平面。该模型最终得到的分类器如下: gsvm(x)=sign(∑SVαnynexp(−γ∥x−xn∥2)+b)(1)g_{svm}(x) = sign\bigg...
阅读(6451) 评论(0)

机器学习笔记-Deep Learning

在上一篇的介绍中我们看到在Neural networkNeural\ network中有一层一层的神经元,它们的作用就是帮助我们识别出资料中的模式patternpattern,将这些模式当成是特征。通过BPBP算法可以帮助我们计算梯度,这样就可以利用GDGD类算法来更新每一个权重,最终得到神经网络中每一个神经元的权重 w(l)ijw_{ij}^{(l)}。所以神经网路的核心就是这些一层一层的神经元...
阅读(6621) 评论(0)

机器学习笔记-Neural Network

Neural Network Motivation 从我们熟悉的perceptron说起, perceptron就是从...
阅读(6587) 评论(0)

sklearn之SVM二分类

理论部分 线性支持向量机 对偶形式支持向量机 核函数支持向量机 软间隔支持向量机 Kernel Logistic Regression Support Vector Regression(SVR) 使用sklearn实现的不同核函数的SVM使用不同核函数的SVMSVM用于二分类问题并可视化分类结果。# -*- coding: utf-8 -*- import numpy as np import...
阅读(1003) 评论(0)

机器学习笔记-Gradient Boosted Decision Tree

上一篇介绍了Random Forest,该算法利用Bagging中的bootstrapping机制得到不同的Decision Tree, 然后将这些Decision Tree融合起来。除了基本的Bagging和Decision Tree之外,Random Forest还在Decision Tree中加入了更多的randomness。有了这些机制之后,我们发现这个算法可以利用OOB数据做self-V...
阅读(6687) 评论(0)

机器学习笔记-Random Forest

随机森林算法 回顾Bagging和Decision Tree 这篇主要讲述机器学习中的随机森林算法相关的知识。首先回顾一下我们在前几篇博文中提到的两个模型,Bagging和Decision Tree。 Bagging算法的主要过程是通过bootstraping的机制从原始的资料D\mathcal{D}中得到不同的大小为N′N'资料D~t\mathcal{\tilde{D}_t},将这些资料...
阅读(6633) 评论(0)

机器学习笔记-Decision Tree

上一篇讲解了Adaptive Boosting算法,这个算法有两个特点:第一个是在第t轮中通过调整每一个样本点的权重值以使得在t+1t+1轮得到不同于的gtg_t的gt+1g_{t+1};第二点是通过gtg_t的表现计算一个值作为权重将其线性的融合到GG中。这样的算法被证明当base learnerbase\ learner不怎么强的时候,通过这样的方式也可以得到很强的效果。 Decision...
阅读(6706) 评论(0)
95条 共7页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:219175次
    • 积分:3185
    • 等级:
    • 排名:第12771名
    • 原创:95篇
    • 转载:0篇
    • 译文:0篇
    • 评论:65条
    最新评论