![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
胖虎艾春辉
这个作者很懒,什么都没留下…
展开
-
强化学习6
1 关键词DDPG(Deep Deterministic Policy Gradient): 在连续控制领域经典的RL算法,是DQN在处理连续动作空间的一个扩充。具体地,从命名就可以看出,Deep是使用了神经网络;Deterministic 表示 DDPG 输出的是一个确定性的动作,可以用于连续动作的一个环境;Policy Gradient 代表的是它用到的是策略网络,并且每个 step 都会更新一次 policy 网络,也就是说它是一个单步更新的 policy 网络。其与DQN都有目标网络和经验回放的原创 2020-11-08 21:14:38 · 287 阅读 · 1 评论 -
二手车预测:task2:数据分布
2.1 EDA目标EDA的价值主要在于熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。完成对于数据的探索性分析,并对于数据进行一些图表或...原创 2020-03-22 22:02:14 · 18313 阅读 · 0 评论 -
使用stratifiedKFold进行分层交叉验证时候报错:ValueError: Supported target types are: ('binary', 'multiclass'). Got
ValueError Traceback (most recent call last)<ipython-input-42-2ab744268d80> in <module>() 20 print('---------分割线--------------') 21 sfolder = Stra...原创 2020-03-22 17:52:52 · 5372 阅读 · 3 评论 -
二手车预测:task1:赛题分析
train.csvname - 汽车编码regDate - 汽车注册时间model - 车型编码brand - 品牌bodyType - 车身类型fuelType - 燃油类型gearbox - 变速箱power - 汽车功率kilometer - 汽车行驶公里notRepairedDamage - 汽车有尚未修复的损坏regionCode - 看车地区编码seller...原创 2020-03-21 16:39:40 · 364 阅读 · 0 评论 -
pytorch-数据增强
图像增广在5.6节(深度卷积神经网络)里我们提到过,大规模数据集是成功应用深度神经网络的前提。图像增广(image augmentation)技术通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模。图像增广的另一种解释是,随机改变训练样本可以降低模型对某些属性的依赖,从而提高模型的泛化能力。例如,我们可以对图像进行不同方式的裁剪,使感兴趣的物体出现在不同位置,...原创 2020-02-25 10:31:34 · 525 阅读 · 0 评论 -
pytorch-模型微调
9.2 微调在前面的一些章节中,我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet,它有超过1,000万的图像和1,000类的物体。然而,我们平常接触到数据集的规模通常在这两者之间。假设我们想从图像中识别出不同种类的椅子,然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子,为每种椅子...原创 2020-02-25 10:30:13 · 1508 阅读 · 0 评论 -
pytorch-文本情感分类
文本情感分类文本分类是自然语言处理的一个常见任务,它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题:使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析,并有着广泛的应用。同搜索近义词和类比词一样,文本分类也属于词嵌入的下游应用。在本节中,我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络,来判断一段不定长的文本序列中包含的是正面还是负面的情绪。后续内...原创 2020-02-25 10:28:42 · 5899 阅读 · 9 评论 -
pytorch-词向量进阶
词嵌入进阶在“Word2Vec的实现”一节中,我们在小规模数据集上训练了一个 Word2Vec 词嵌入模型,并通过词向量的余弦相似度搜索近义词。虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量,并能一定程度上地保存词与词之间的近似关系,但 Word2Vec 模型仍不是完美的,它还可以被进一步地改进:子词嵌入(subword embedding):FastText 以固定大...原创 2020-02-23 23:54:46 · 453 阅读 · 0 评论 -
pytorch-词嵌入基础
词嵌入基础我们在“循环神经网络的从零开始实现”一节中使用 one-hot 向量表示单词,虽然它们构造起来很容易,但通常并不是一个好选择。一个主要的原因是,one-hot 词向量无法准确表达不同词之间的相似度,如我们常常使用的余弦相似度。Word2Vec 词嵌入工具的提出正是为了解决上面这个问题,它将每个词表示成一个定长的向量,并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类...原创 2020-02-23 23:53:30 · 438 阅读 · 0 评论 -
pytorch-优化算法进阶
11.6 Momentum在 Section 11.4 中,我们提到,目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置,这可能会带来一些问题。对于noisy gradient,我们需要谨慎...原创 2020-02-23 19:37:50 · 477 阅读 · 0 评论 -
pytorch-梯度下降
梯度下降(Boyd & Vandenberghe, 2004)%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, optimimport mathimport syssys.path.append('/home/kesci/input')import d2lzh...原创 2020-02-23 19:36:41 · 228 阅读 · 0 评论 -
pytorch-优化与深度学习
优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标:训练集损失函数值深度学习目标:测试集损失函数值(泛化性)%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfrom m...原创 2020-02-22 16:28:01 · 211 阅读 · 0 评论 -
pytorch- 批量归一化
批量归一化(BatchNormalization)对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化(深度模型)利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置:全连接层中的仿射变换和激活函数之间。全连接:x=...原创 2020-02-21 22:49:54 · 2432 阅读 · 0 评论 -
pytorch-modernCNN
深度卷积神经网络(AlexNet)LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取:通过学习得到数据的多级表征,并逐级表⽰越来越抽象的概念或模式。神经网络发展的限制:数据、硬件AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征,从...原创 2020-02-19 12:53:41 · 256 阅读 · 0 评论 -
pytorch-lenet
course contentlenet 模型介绍lenet 网络搭建运用lenet进行图像识别-fashion-mnist数据集Convolutional Neural Networks使用全连接层的局限性:图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像,使用全连接层容易导致模型过大。使用卷积层的优势:卷积层保留输...原创 2020-02-18 22:37:38 · 193 阅读 · 0 评论 -
pytorch-卷积神经网络基础
卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。二维卷积层本节介绍的是最常见的二维卷积层,常用于处理图像数据。二维互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。卷积核的尺寸通...原创 2020-02-18 19:30:47 · 267 阅读 · 0 评论 -
pytorch-transformer
Transformer在之前的章节中,我们已经介绍了主流的神经网络架构如卷积神经网络(CNNs)和循环神经网络(RNNs)。让我们进行一些回顾:CNNs 易于并行化,却不适合捕捉变长序列内的依赖关系。RNNs 适合捕捉长距离变长序列的依赖,但是却难以实现并行化处理序列。为了整合CNN和RNN的优势,[Vaswani et al., 2017] 创新性地使用注意力机制设计了Transfo...原创 2020-02-18 10:59:54 · 1543 阅读 · 0 评论 -
pytorch-机器翻译
机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。import osos.listdir('/home/kesci/input/')['fraeng6506', 'd2l9528']import syssys.path.a...原创 2020-02-17 23:16:11 · 2929 阅读 · 2 评论 -
pytorch-梯度消失、梯度爆炸以及Kaggle房价预测
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)...原创 2020-02-16 13:48:41 · 481 阅读 · 0 评论 -
pytorch-过拟合、欠拟合及其解决方案
过拟合、欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛...原创 2020-02-16 13:47:57 · 3031 阅读 · 0 评论 -
pytorch-循环神经网络
循环神经网络本节介绍循环神经网络,下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH,用HtH_{t}Ht表示HHH在时间步ttt的值。HtH_{t}Ht的计算基于XtX_{t}Xt和Ht−1H_{t-1}Ht−1,可以认为HtH_{t}Ht记录了到当前字符为止的序列信息,利用HtH_{t}H...原创 2020-02-14 20:17:33 · 574 阅读 · 0 评论 -
pytorch-文本预处理
文本预处理文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:读入文本分词建立字典,将每个词映射到一个唯一的索引(index)将文本从词的序列转换为索引的序列,方便输入模型读入文本我们用一部英文小说,即H. G. Well的Time Machine,作为示例,展示文本预处理的具体过程。import collecti...原创 2020-02-13 22:22:36 · 1045 阅读 · 1 评论 -
pytorch-多层感知机
多层感知机多层感知机的基本知识使用多层感知机图像分类的从零开始的实现使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。表达公式具体来说,给定一个小批量样本X∈...原创 2020-02-12 20:29:18 · 1241 阅读 · 0 评论 -
pytorch- softmax和分类模型
softmax和分类模型内容包含:softmax回归的基本概念如何获取Fashion-MNIST数据集和读取数据softmax回归模型的从零开始实现,实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型使用pytorch重新实现softmax回归模型softmax的基本概念分类问题一个简单的图像分类问题,输入图像的高和宽均为2像素,色彩为灰度。图像中的4像...原创 2020-02-12 20:11:14 · 759 阅读 · 0 评论 -
pytorch-线性回归
线性回归主要内容包括:线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见,这里我们假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+b\mathrm{pr...原创 2020-02-12 19:33:18 · 261 阅读 · 0 评论 -
机器学习实战- 回归(Regression) 概述
文章目录回归(Regression) 概述回归 场景回归 原理1、线性回归1.1、线性回归 须知概念1.1.1、矩阵求逆1.1.2、最小二乘法1.2、线性回归 工作原理1.3、线性回归 开发流程1.4、线性回归 算法特点1.5、线性回归 项目案例1.5.1、线性回归 项目概述1.5.2、线性回归 编写代码1.5.3、线性回归 拟合效果2、局部加权线性回归2.1、局部加权线性回归 工作原理2.2、局...原创 2020-01-28 21:15:22 · 2010 阅读 · 0 评论 -
task2数据清洗
任务2数据清洗Task02:数据清洗(2天)https://github.com/datawhalechina/team-learning/blob/master/数据竞赛(房租预测)/2_数据清洗.ipynb每一步都要认真完成,附上代码,最终效果截图缺失值分析及处理缺失值出现的原因分析采取合适的方式对缺失值进行填充异常值分析及处理根据测试集数据的分布处理训练集的数据分布使...原创 2020-01-09 16:45:34 · 270 阅读 · 0 评论 -
task1-房价预测
1. 赛题分析比赛要求参赛选手根据给定的数据集,建立模型,预测房屋租金。数据集中的数据类别包括租赁房源、小区、二手房、配套、新房、土地、人口、客户、真实租金等。这是典型的回归预测。预测指标回归结果评价标准采用R-SquareR2(R-Square)的公式为:残差平方和:SSres=∑(yi−y^i)2SS_{res}=\sum\left(y_{i}-\hat{y}_{i}\rig...原创 2020-01-07 21:30:46 · 301 阅读 · 0 评论 -
随机森林 random forest
随机森林 random forest数据集地址概述:随机森林是指多棵树对样本进行训练并且预测的一种分类器,决策树相当于大师,通过自己在数据集中学习到的只是用于新数据的分类,三个臭皮匠,顶个诸葛亮原理:数据的随机化:使得随机森林中的决策树更普遍化一点,适合更多的场景。(有放回的准确率在:70% 以上, 无放回的准确率在:60% 以上)采取有放回的抽样方式 构造子数据集,保证不同...原创 2020-01-05 13:06:30 · 377 阅读 · 0 评论 -
Adaboost算法
Adaboost算法集成学习概述集成学习算法定义集成学习(Ensemble learning)就是讲若干个弱分类器通过一定策略组合后产生一个强分类器。弱分类器(weak Classifier)指的就是那些分类准确率只比随机猜测好一点的分类器。而强分类器(strong Classifier)的分类准确率会高很多,这里的弱和强是相对的,弱分类器也叫做基分类器分类:baggingb...原创 2020-01-03 16:26:14 · 162 阅读 · 0 评论 -
什么是激活函数?
title: 什么是激活函数date: 2019-11-08 12:55:45mathjax: truecategories:nlp-自然语言处理tags:nlp-自然语言处理文章目录先抛开什么神经,深度之类的不好理解的东西激活函数在深度学习中是用来干什么的?我们说下分类问题那么加上激活函数(activation function)就不一样几个函数解释ReLU及其衍生函数先...原创 2019-12-16 00:04:13 · 198 阅读 · 0 评论 -
矩阵求导
转载说明转载 2019-12-01 17:28:59 · 180 阅读 · 0 评论 -
python中矩阵,数组区别
转载标志转载 2019-12-01 07:53:22 · 461 阅读 · 0 评论 -
机器学习:支持向量机(svm)
title: 机器学习:支持向量机(svm)date: 2019-11-30 22:29:07mathjax: truecategories:机器学习tags:机器学习机器学习:支持向量机(svm)代码待补充本文只讲述支持向量机(svm)的基础,不涉及任何高深东西。1. 支持向量机 作用先看一图:我们第一直觉就是在两堆点中间画一根线,分开两类点。2. 如何...原创 2019-11-30 22:33:51 · 399 阅读 · 0 评论 -
贝叶斯网络
转载标志转载 2019-11-30 21:48:23 · 199 阅读 · 0 评论 -
机器学习:逻辑回归(logistics regression)
title: 机器学习:逻辑回归(logistics regression)date: 2019-11-30 20:55:06mathjax: truecategories:机器学习tags:机器学习第5章 Logistic回归Logistic 回归 概述Logistic 回归 或者叫逻辑回归 虽然名字有回归,但是它是用来做分类的。其主要思想是: 根据现有数据对分类边界线...原创 2019-11-30 21:30:04 · 560 阅读 · 0 评论 -
机器学习:朴素贝叶斯(naive beyes)
title: 机器学习:朴素贝叶斯(naive beyes)date: 2019-11-30 20:29:35mathjax: truecategories:机器学习tags:机器学习机器学习:朴素贝叶斯(naive beyes)借鉴概述贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本章首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后...原创 2019-11-30 20:54:07 · 926 阅读 · 0 评论 -
朴素贝叶斯
转载标志转载 2019-11-27 21:15:42 · 87 阅读 · 0 评论 -
词向量(onehot->word2vec)
转载标志转载 2019-11-25 16:57:06 · 168 阅读 · 0 评论 -
吴恩达机器学习:week3
title: ‘吴恩达机器学习:week3’date: 2019-11-20 15:37:28mathjax: truecategories:机器学习tags:机器学习线性代数回顾(Linear Algebra Review)3.1 矩阵和向量参考视频: 3 - 1 - Matrices and Vectors (9 min).mkv如图:这个是4×2矩阵,即4行2列,...原创 2019-11-20 16:00:48 · 266 阅读 · 0 评论