深度学习
文章平均质量分 94
Xiao J.
努力努力再努力!!!
展开
-
PyTorch中Tensor的基本用法与动手学深度学习的预备知识
????????第一部分是PyTorch中有关Tensor的一些基本用法,因为之前并没有系统学习过PyTorch,所以现在看书的同时慢慢学习PyTorch的知识第二部分是原书的知识和一些自己的理解张量 Tensor张量包含了一个数据集合,这个数据集合就是原始值变形而来的,它可以是一个任何维度的数据。tensor的rank就是其维度。Rank本意是矩阵的秩,不过Tensor Rank和Matrix Rank的意义不太一样,这里就还叫Rank。Tensor Rank的意义看起来更像是维度,原创 2021-02-03 17:44:01 · 385 阅读 · 4 评论 -
流数据模型
流数据模型和传统的关系模型(Relational Model)有几个重要的区别:(1) 数据流的数据元素持续到达(2) 流数据处理系统不能控制数据元素到达的顺序(3) 数据流有可能是无限的,或者说数据流的大小是无限大(Infinite)(4) 数据流的一个数据元素被处理后,可以丢弃或者归档(Archived),一般不容易再次提取,除非目前该数据元素还在内存中。能够保存在内存中的数据元素,相对整个数据流来讲是极少量的数据。在关系数据库的数据模型里,数据以元组(记录)的形式组织在关系中。我们可以对这些原创 2020-12-08 09:35:26 · 1096 阅读 · 0 评论 -
AdaBoost 算法 入门
AdaBoost 是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器,即弱分类器,然后把这些弱分类器集合起来,构造一个更强的最终分类器。算法的适应性在于前一个基本分类器分错的样本会得到加强,加权后的全体样本再次用来训练下一个基本分类器。同时,在每一轮中加入一个新的弱分类器,直至达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。具体来说,整个 AdaBoost 迭代算法包含 3 个主要步骤:(1)初始化训练数据的权值分布。如果有 M 个样本,则每一个训练样本最开始时都被赋予相同的权值:1原创 2020-12-07 19:17:30 · 232 阅读 · 0 评论 -
流式处理和批处理的区别
流式处理(Stream Processing) 是针对 批处理(Batch Processing)来讲的,即它们是两种截然不同的数据处理模式,具有不同的特点,适用于不同的应用场合。不能简单地认为其中一种数据处理模式优于另一种数据处理模式。对于批处理来讲,首先数据被不断地采集,保存到数据库中,然后进行分析处理(包括SQL查询)。批处理适用于对大量数据(High Volume)进行处理的场合。人们需要等到整个分析处理任务完成,才能获得最终结果。由于需要处理的数据集大小以及计算机系统的计算能力的差异,整个过程原创 2020-12-07 19:10:35 · 13057 阅读 · 0 评论 -
关联规则分析 Apriori 算法 简介与入门
关联规则的几个概念:关联规则是形如 X -> Y 的蕴含式,表示通过 X 可以推导出 Y,X称为关联规则的左部(Left Hand Side,LHS),Y 称为关联规则的右部(Right Hand Side,RHS)。关联规则有两个指标,分别是支持度(Support)和置信度(Confidence)。关联规则A -> B 的支持度(support)= P(AB),指的是事件 A 和事件 B 同时发生的概率。置信度(confidence) = P(B|A) = P(AB) / P(A),指的是原创 2020-12-05 15:49:55 · 1424 阅读 · 0 评论 -
分类算法支持向量机(SVM) 简介与入门
在二维平面上,把两类数据分开需要一条直线。到了3微空间,要把两类数据分开,就需要一个平面。把上述分类机制扩展到基本情形,在高维空间里,把两类数据分开,则需要一个超平面。直线和平面是超平面在2维和3维空间的表现形式。当我们处理的是100维数据时,超平面就是一个99维的对象。支持向量:我们寻找分类函数 y=f(x)= ω^T x+b,超平面上的点代入这个分类函数,得到 f(x)=0,超平面一边的数据点代入分类函数,得到 f(x)= 1;在超平面另一边的数据点代入分类函数得到 f(x)= -1。在二维平面上.原创 2020-12-05 15:47:56 · 697 阅读 · 0 评论 -
聚类算法 K-Means 简介与入门
K-Means 算法是最简单的一种聚类算法,属于无监督学习算法。聚类和分类最大的不同在于:分类的目标是事先已知的,而聚类则不一样,聚类事先不知道目标变量是什么,类别没有像分类那样被预先定义出来。假设我们的样本是 {x^(1), x^(2), x^(3),……, x^(m) },每个 x^(i) ∈ R^n,即它是一个维向量。现在用户给定一个 k 值,要求将样本聚类成 k 个类簇。在这里,我们把整个算法成为聚类算法,聚类算法的结果是一系列的类簇。步骤:输入:样本集 D,簇的数目 k,最大迭代次数N;原创 2020-12-05 15:44:06 · 402 阅读 · 0 评论 -
决策树简介与入门
决策树表示对象属性(比如贷款用户的年龄、是否有工作、是否有房产、信用评分等)和对象类别(是否批准其贷款申请)之间的一种映射。使用层层推理来实现最终的分类。 根节点:包含样本的全集 内部节点:对应特征属性测试 叶节点:代表决策的结果预测时,在树的内部节点处用某一属性值进行判断,根据判断结果决定进入哪个分支节点,直到到达叶节点处,得到分类结果。这是一种基于 if-then-else 规则的有监督学习算法,决策树的这些规则通过训练得到,而不是人工制定的。决策树是最简单的机器学习算法,它易于实现,原创 2020-12-05 15:39:32 · 174 阅读 · 0 评论 -
机器学习与数据挖掘简介
机器学习的目的是预测(包括分类和回归)。分类是根据输入数据,判别这些数据隶属于哪个类别。回归则是根据输入数据,计算出一个输出值。输入数据一般为一个向量,向量的各个分量也称为特征(Feature),输出则是一个类别或者一个数值。机器学习方法分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和半监督学习(Semi- Supervised Learning)。有监督学习:是机器学习的一种类别,训练数据由输入特征和预期的输出构成,输..原创 2020-12-05 15:35:02 · 368 阅读 · 0 评论 -
决策树
https://www.cnblogs.com/molieren/articles/10664954.html原创 2020-10-09 15:55:48 · 87 阅读 · 0 评论 -
指定tensorflow运行的GPU或CPU设备
如果 TensorFlow 指令中兼有 CPU 和 GPU 实现,当该指令分配到设备时,GPU 设备有优先权。如果你的系统里有多个 GPU, 那么 ID 最小的 GPU 会默认使用。当我们要指定tensorflow运行的GPU或CPU设备时,可以使用tf.device()命令首先查看可用运算设备(CPU,GPU)from tensorflow.python.client import device_libprint(device_lib.list_local_devices())得..原创 2020-07-29 16:11:15 · 1363 阅读 · 0 评论 -
在运行Loaded runtime CuDNN library: 7103 (compatibility version 7100) but source was compiled with 7003
最后错误代码为134(6 signal)(大概是这样,错误解决了记录一下,错误忘了截图) 环境是cuda8.0,cudnn7.05,(在Titan上,cuda8.0、tensorflow1.4正好对应cudnn6.0,但这次GPU为GTX1070 貌似和Titan有区别),出现这个问题我开始以为内部不足,然后可能是cuda...转载 2020-07-29 15:56:33 · 172 阅读 · 0 评论 -
module ‘tensorflow‘ has no attribute ‘sparse ‘
非常奇怪的一个报错,在查找资料无果的情况下选择了重装keras(应该是版本对应出现了问题),报错解决原创 2020-07-29 15:50:49 · 1027 阅读 · 0 评论 -
ImportError: cannot import name ‘moving_averages‘
出现这个报错的大部分原因是tensorflow的版本太低(我就是),我使用的是tensorflow-gpu,将版本从1.7升级到1.8就解决了这个问题原创 2020-07-29 15:46:51 · 2379 阅读 · 0 评论 -
深度学习环境搭建之Anaconda安装keras
一、确定安装版本号搭环境遇到一堆坑,总结一点最重要的就是要选择好版本。这里我们要注意tensorflow与keras的版本对应关系。见下图二、使用pip进行安装这里注意首先要激活对应的环境pip install keras==版本号后续有时间再补充安装tensorflow-gpu以及pytorch的教程...原创 2020-07-29 15:43:11 · 573 阅读 · 0 评论 -
Linux下进入Anaconda Prompt以及Navigator
一、进入Anaconda Promp打开终端,cd 进Anaconda下的bin目录conda activate退出conda deactivate二、进入Anaconda Navigatoranaconda-navigator原创 2020-07-29 15:36:49 · 12811 阅读 · 0 评论 -
《动手学深度学习》 第二天 (线性回归)
3.2 线性回归的从零开始实现只利用NDArray和autograd来实现一个线性回归的训练。首先,导入本节中实验所需的包或模块,其中的matplotlib包可用于作图,且设置成嵌入显示。%matplotlib inlinefrom IPython import displayfrom matplotlib import pyplot as pltfrom mxnet import a...原创 2020-04-08 10:20:14 · 323 阅读 · 0 评论 -
《动手学深度学习》 第二天 (自动求梯度)
2.3、自动求梯度MXNet提供的autograd模块可以用来自动求梯度。2.3.1 一个简单的栗子这里我们要求对函数 y = 2xTx (2乘以x的转秩乘以X)求关于列向量 x 的梯度。(使用jupyter notebook)1、 创建变量x,并赋初值x = nd.arange(4).reshape((4,1)) # 4行一列x2、 调用attach_grad函数来申请存储梯...原创 2020-04-08 09:25:31 · 598 阅读 · 0 评论 -
《动手学深度学习》第一天 (2.1+2.2)
2.1 获取和运行本书的代码2.1.1获取代码并安装运行环境第一步: 安装Miniconda ,由于我的电脑已经安装过Anaconda,所以就没有再安装Miniconda了。第二步:下载代码,地址 https://zh.d2l.ai/d2l-zh-1.0.zip第三步:使用conda创建虚拟环境首先在d2l-zh目录文件资源管理器的地址栏输入cmd进入命令行模式。# 配置清华PyP...原创 2020-04-01 21:46:35 · 178 阅读 · 0 评论