![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习数据预处理
文章平均质量分 69
kandysoso
这个作者很懒,什么都没留下…
展开
-
pytorch使用dataloader和dataset自建简单数据集
Datasetfrom torch.utils.data import Datasetimport pandas as pdimport osclass myDataset(Dataset): def __init__(self, file_dir): self.filepaths = os.listdir(file_dir) print(self.filepaths) dfs = [] for filepath in原创 2021-09-13 13:37:12 · 382 阅读 · 0 评论 -
使用apriori对英文文本进行频繁项挖掘
使用apriori对英文文本进行频繁项挖掘知识储备频繁项集,关联性分析apriori算法运行环境run结果及分析欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入知识储备频繁项集,关联性分析原创 2020-12-14 22:12:03 · 592 阅读 · 1 评论 -
深度学习神经网络的数据预处理word2vec 学习笔记(一)
神经网络深度学习word2vec的学习笔记一、文本向量化概念在自然语言处理的过程中,文本向量化是文本重要的一种表示方式,顾名思义,就是将不同的文本以向量的方式表示。这样表示原因在于不论是英文还是中文,词语都是表达文本处理的最基本单元。当然还有将文章段落或者句子作为处理单元进行处理的,例如由word2vec拓展而来的doc2vec或者str2vec,其基本思想是类似的。二、词袋模型和On...原创 2018-10-09 20:23:30 · 3618 阅读 · 0 评论 -
DL4J的矩阵处理模块ND4J的常用函数整理
ND4J矩阵变换的常用函数整理由本人阅读nd4j源码整理,nd4j是dl4j为了矩阵运算整出来的一套工具。对应python里的numpy,但是并没有numpy那么普及,不过至少使用dl4j搭建神经网络以及数据预处理时,会使用nd4j是必不可少的。nd4j还有个功能是可以创建工作区workspace用来管理堆内存的回收,或者我们直接扔给GC来管理INDArray的内存回收就好。这个功能以后有...原创 2018-10-25 10:37:58 · 1886 阅读 · 0 评论 -
DL4J的神经网络输入处理DataSet介绍
Deeplearning4j的数据是由一个叫做DataSet的对象传入网络进行训练的,DataSet由四个主要元素组成,Features,Labels,FeaturesMask,LabelsMask,这四个元素都是INDArray,即是N维矩阵或者叫做N维张量。一般来说是2-4维矩阵,分别对应全联接网络、RNN网络、CNN网络的输入。四个元素简单介绍如下:Features 特征,特征可以是...原创 2018-10-29 10:20:09 · 1296 阅读 · 0 评论