- 博客(126)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 pytorch神经网络对Excel数据集进行处理（读取，转为tensor格式，归一化），并且以鸢尾花（iris）数据集为例，实现BP神经网络
最近跟导师做的项目是关于BP，LSTN神经网络的，数据集对象是一些Excel表格类型的，我使用pytorch进行训练，读取Excel表格数据的时候统一进行一些处理，使用我想把它封装到函数，以后处理其它数据集不就方便了吗。可以看到鸢尾花数据集有四个特征，分别是0，1,2，3，label是鸢尾花种类，共三种，分别以0,1，2表示。使用方法很简单，输入为特征值，标签，划分比例，是否打乱，返回值为训练集，测试集的特征值和标签。，输入为Excel名字，返回值为numpy类型的特征值和标签。.........
2022-07-19 22:48:56
12753
6
原创 pytorch 之pad_sequence, pack_padded_sequence, pack_sequence, pad_packed_sequence使用
该函数用padding_value来填充一个可变长度的张量列表。将长度较短的序列填充为和最长序列相同的长度。，张量的形状为T × B × ∗。否则，张量的形状为B × T × ∗。包含填充序列的张量的元组，以及包含批次中每个序列的长度列表的张量。函数进行填充的时候，产生了冗余，因此需要对其进行pack。压紧(pack)一个包含可变长度的填充序列的张量，在使用。函数对返回的结果进行填充以恢复为原来的形状。如果 batch_first 是。一句话就是：填充句子到相同长度。
2022-10-31 17:29:28
581
1
原创 爬虫小问题：链接中文转码和解码
在爬取数据是时候很多搜索的词语中在浏览器上显示的是中文，但是我们复制url到本地，中文就会出现我们看不懂的文字。如果我们需要爬虫的时候也是一样，我们需要给浏览器传过去的也是对url中的中文进行转码之后的url地址，否则在url中的关键字直接出现中文会有问题。在python3的环境中的urllib库中 quote模块提供了这一功能。
2022-10-10 16:25:33
689
原创 自然语言处理 文本数据分析
通过绘制句子长度分布图, 可以得知我们的语料中大部分句子长度的分布范围, 因为模型的输入要求为固定尺寸的张量，合理的长度范围对之后进行句子截断补齐(规范长度)起到关键的指导作用。通过查看正负样本长度散点图, 可以有效定位异常点的出现位置, 帮助我们更准确进行人工语料审查。数据概览： 7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论。使用的是hnSentiCorp_htl_all。
2022-10-06 11:26:03
1428
原创 word2vec
学习引用word2vec 一词最初用来指程序或者工具，但是随着该词的流行，在某些语境下，也指神经网络的模型。正确地说， CBOW 模型和skip-gram 模型是 word2vec 中使用的两个神经网络。
2022-10-05 20:23:17
628
原创 自然语言处理 one-hot编码
劣势：完全割裂了词与词之间的联系，而且在大语料集下，每个向量的长度过大，占据大量内存.优势：操作简单，容易理解.
2022-10-05 20:05:23
814
原创 pyhanlp 工具类HanLP基本使用
from pyhanlp import * content = "虽然原始的食材便具有食物原始的风情，云初还是认为，" \ "最美味的食物还是需要经过分割，烹调，处置，最后端上桌的食物才是最符合大唐人肠胃的食物。" words = HanLP . extractSummary(content , 1) #提取短语,同时指定摘要的最大长度 print(words)
2022-10-05 17:35:52
743
1
原创 jieba库使用
需要分词的字符串cut_all：是否采⽤全模式（理解全模式与精确模式）HMM：是否采⽤HMM模型（有兴趣的可以进⼀步了解其算法原理）use_paddle：⽤来控制是否使⽤paddle模式下的分词模式，paddle模式采⽤延迟加载⽅式，通过enable_paddle接⼝安装paddlepaddle-tiny，并且import相关代码；返回值为迭代器。
2022-10-04 18:42:16
734
原创 spring boot使用lombok
Data是一个方便的快捷方式注释，它将@ ToString，@ EqualsAndHashCode，@ Getter / @Setter和@RequiredArgsConstructor的功能捆绑在一起.可以使用@Getter 或 @Setter标注任何字段，lombok 可以帮助你自动生成默认的get、set方法。这组3个注释会生成一个构造函数，该构造函数将为某些字段接受1个参数，并将该参数简单地分配给该字段。@AllArgsConstructor 为类中的每个字段生成一个带有1个参数的构造函数。
2022-09-27 16:36:17
259
原创 Java之TreeSet
booleanadd(E e)如果没有已存在，则将指定的元素添加到该集合中。boolean将指定集合中的所有元素添加到该集合中。E返回最小的元素在这组大于或等于给定的元素，或null如果没有这样的元素。voidclear()从这个集合中移除所有的元素。Objectclone()返回该TreeSet实例浅拷贝。super E>返回用于命令set中元素的比较，或null如果使用此设置元素的。boolean如果这套true返回包含指定的元素。在这个集合中的元素上返回一个迭代器。
2022-09-21 16:29:44
355
原创 Java之Hashset(),LinkedHashset()
booleanadd(E e)如果没有已存在，则将指定的元素添加到该集合中。voidclear()从这个集合中移除所有的元素。Objectclone()返回该HashSet实例浅拷贝：元素本身不是克隆。boolean如果这套true返回包含指定的元素。booleanisEmpty()返回true如果这个集合不包含元素。iterator()返回此集合中元素的迭代器。boolean如果当前存在，则从该集合中移除指定的元素。intsize()返回该集合中元素个数（其基数）。
2022-09-20 15:56:49
163
原创 Java之Vector()
Vector 类实现了一个动态数组。Vector 主要用在事先不知道数组的大小，或者只是需要一个可以改变大小的数组的情况。
2022-09-20 11:17:50
191
原创 Java之LinkedList()
链表（Linkedlist）是一种常见的基础数据结构，是一种线性表，但是并不会按线性的顺序存储数据，而是在每一个节点里存到下一个节点的地址。LinkedList同时实现了List接口和Deque对口，也就是收它既可以看作一个顺序容器，又可以看作一个队列（Queue），同时又可以看作一个栈（stack）
2022-09-20 11:08:09
130
原创 Java之ArrayList()
booleanadd(E e)将指定的元素列表的结束。void在列表中指定的位置上插入指定的元素。boolean追加指定集合的所有元素到这个列表的末尾，按他们的指定集合的迭代器返回。boolean将指定集合中的所有元素插入到该列表中，从指定位置开始。voidclear()从这个列表中移除所有的元素。Objectclone()返回该ArrayList实例浅拷贝。boolean返回true如果这个列表包含指定元素。void增加这ArrayList。
2022-09-20 10:13:30
145
原创 机器学习数据集读取和预处理
其二则是因为相比实用函数，sklearn中的评估器其实会有一个非常便捷的串联的功能，sklearn中提供了Pipeline工具能够对多个评估器进行串联进而组成一个机器学习流，从而简化模型在重复调用时候所需代码量，因此通过评估器的方法进行数据标准化，其实是一种更加通用的选择。在之前的内容中我们曾介绍了关于连续变量标准化和归一化的相关内容，对连续变量而言，标准化可以消除量纲影响并且加快梯度下降的迭代效率，而归一化则能够对每条数据进行进行范数单位化处理，我们可以通过下面的内容进行标准化和归一化相关内容回顾。
2022-09-18 16:17:15
1961
原创 11. 盛最多水的容器(双指针问题）
有 n 条垂线，第 i 条线的两个端点是 (i, 0) 和 (i, height[i])。解释：图中垂直线代表输入数组 [1,8,6,2,5,4,8,3,7]。在此情况下，容器能够容纳水（表示为蓝色部分）的最大值为 49。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。初始化： 双指针 i , j 分列水槽左右两端；输入：[1,8,6,2,5,4,8,3,7]返回值： 返回面积最大值 max 即可；选定两板高度中的短板，向中间收窄一格；循环收窄： 直至双指针相遇时跳出；
2022-09-13 19:03:28
70
原创 543. 二叉树的直径
二叉树的直径不一定过根节点，因此需要去搜一遍所有子树(例如以root，root.left, root.right…为根节点的树)对应的直径，取最大值。给定一棵二叉树，你需要计算它的直径长度。一棵二叉树的直径长度是任意两个结点路径长度中的最大值。这条路径可能穿过也可能不穿过根结点。root的高度 = max {root左子树高度, root右子树高度} + 1。root的直径 = root左子树高度 + root右子树高度。
2022-09-13 16:49:00
52
原创 sklearn标签转换
是一个可以用来将标签规范化的工具类，它可以将标签的编码值范围限定在[0,n_classes-1].。它也可以用于非数值型标签的编码转换成数值标签。
2022-09-09 11:18:54
451
原创 seaborn学习3:relplot
此函数提供对一些不同轴级别函数的访问，这些函数通过子集的语义映射显示两个变量之间的关系。这些变量可以是类别变量或者数值型变量，尽管颜色映射在后面的情况中会有不同的表现。这些变量可以是类别变量或者数值型变量，尽管尺寸映射在后面的情况中会有不同的表现。此函数提供对一些不同轴级别函数的访问，这些函数通过子集的语义映射显示两个变量之间的关系。为数值型时，此变量也可以是指定最小和最大尺寸的元组，这样可以将其他值标准化到这个范围。变量为数值型时，用于数据单元的 colormap 的标准化。变量的不同级别的颜色。
2022-09-08 18:41:07
443
原创 seaborn学习2:displot()
除了直方图和核密度估计值 （KDE） 之外，还可以绘制经验累积分布函数 （ECDF）此函数提供了对多种方法的访问，用于可视化数据的单变量或二变量分布，包括由语义映射和跨多个子图的分面定义的数据子集。可以是可分配给命名变量的长格式向量集合，也可以是将在内部重塑的宽格式数据集。用于在映射语义时选择要使用的颜色的方法。不使用色相映射时的单色规范。列表或字典值表示分类映射，而色彩映射表对象表示数字映射。指定 x 轴和 y 轴上位置的变量。映射以确定绘图元素颜色的语义变量。定义要在不同方面绘制的子集的变量。
2022-09-08 16:02:59
3296
原创 独热编码和自然数编码
验证码中分别有大写字母，小写字母以及数字组成，总共为62个符号，如果使用自然数编码的话，那么进行四位验证码的分类识别的话，神经网络的输出层为62的四次方，而使用独热编码的话则输出层为62*4。独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。表示一名中国的女生，One-Hot 编码为：[10001]国籍特征：[‘中国’, ‘美国’, ‘法国’]国籍特征：[‘中国’, ‘美国’, ‘法国’]
2022-09-05 22:47:04
567
原创 go语言学习2
需要先将其转换成[]rune或[]byte，完成后再转换为string。无论哪种转换，都会重新分配内存，并复制字节数组。字符串就是一串固定长度的字符连接起来的字符序列。字符串一旦赋值了，字符串就不能修改了：在 Go 中字符串是不可变的。Go 语言的字符串常见转义符包含回车、换行、单双引号、制表符等，如下表所示。注意： ++（自增）和–（自减）在Go语言中是单独的语句，并不是运算符。位运算符对整数在内存中的二进制位进行操作。
2022-08-25 15:21:15
46
原创 go语言学习1
go语言（或 Golang）是Google开发的开源编程语言，诞生于2006年1月2日下午15点4分5秒，于2009年11月开源，2012年发布go稳定版。Go语言在多核并发上拥有原生的设计优势，Go语言从底层原生支持并发，无须第三方库、开发者的编程技巧和开发经验。go是非常年轻的一门语言，它的主要目标是“兼具Python 等动态语言的开发速度和C/C++等编译型语言的性能与安全性”。1.goroutine具有可增长的分段堆栈。这意味着它们只在需要时才会使用更多内存。
2022-08-25 13:40:47
215
1
原创 torch.argmax()使用
参数：input (Tensor) – 输入的Tensor矩阵dim (int) – dim表示不同维度。特别的在dim=0表示二维矩阵中的列，dim=1在二维矩阵中的行。广泛的来说，我们不管一个矩阵是几维的，比如一个矩阵维度如下：(d0,d1,…,dn−1) ，那么dim=0就表示对应到d0 也就是第一个维度，dim=1表示对应到也就是第二个维度，以此类推。
2022-08-24 17:32:29
317
原创 pytorch图像识别，识别rice-image-dataset数据集。
水稻是世界范围内生产最广泛的粮食产品之一，具有许多遗传品种。这些品种由于其某些特征而彼此分离。这些通常是纹理、形状和颜色等特征。有了这些区分水稻品种的特征，就可以对种子的质量进行分类和评估。在这项研究中，使用了Arborio，Basmati，Ipsala，Jasmine和Karacadag，它们是土耳其经常种植的五种不同品种的水稻。数据集中共包含 75，000 张颗粒图像，其中每个品种有 15，000 张。
2022-08-23 21:13:22
1053
干豆数据集，可看机器学习数据处理https://blog.csdn.net/weixin_43788986/article/de
2022-09-18
Rice Image Dataset
2022-08-23
爬虫scrapy框架爬取视频
2022-08-19
vue3学习10：路由基本学习（vue-router）基本使用
2022-07-10
BP神经网络 pytorch BP神经网络处理iris数据集（Pytorch实现）
2022-06-20
spring boot中文乱码
2022-09-30
PicGO无法上传SMMS？
2022-08-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人