- 博客(22)
- 收藏
- 关注
RSS订阅原创 离线使用huggingface bert对文本编码
1.到huggingface官网找到想使用的模型https://huggingface.co/以‘bert-base-uncased’为例2.下载以下几个文件放到名为bert-base-uncased的文件夹中3.使用以下代码获得词编码
2022-12-27 21:44:56
1078
1
原创 RuntimeError: CUDA error: invalid device ordinal
代码】RuntimeError: CUDA error: invalid device ordinal。
2022-08-03 14:47:11
673
原创 即插即用！保存训练过程日志（logger）
深度学习train.py文件中需要在日志中记录每轮训练的loss值并在控制台输出在train文件的同级目录新建一个set_logger.py文件，代码如下：然后在train.py文件中添加代码：如果在不同的函数中使用logging.info()出现无法打印日志的情况，在打印不出来的logging.info()前面添加......
2022-07-07 10:45:52
1560
原创 python3: error while loading shared libraries: libpython3.7m.so.1.0: cannot open shared object file:
在pycharm中配置远程编译器时出现报错python3: error while loading shared libraries: libpython3.5m.so.1.0: cannot open shared object file因为动态链接库找不到，所以要在你的配置文件里加入库的路径在linux命令窗口输入：按i编辑 添加库文件路径，比如我的python3路径为usr/local/python3.7.5/bin/python3那么我的库文件路径就是usr/local/python3.7
2022-06-27 14:55:05
4863
原创 赋值、浅拷贝、深拷贝
a 和 b 都指向同一个对象 两个同时变化结果：b = a.copy(): 浅拷贝, a 和 b 是一个独立的对象，但他们的子对象还是指向统一对象（是引用）拷贝父对象，不会拷贝对象的内部的子对象对父对象的改动不会互相牵连结果：对子对象的带动会互相牵连结果：b = copy.deepcopy(a): 深度拷贝, a 和 b 完全拷贝了父对象及其子对象，两者是完全独立的。结果：...
2022-06-23 15:56:54
135
原创 Unsupported format, or corrupt file: Expected BOF record； found b‘＜?xml ve‘报错
原报错代码如下：原因：xlrd不支持这种方式的excel文件解决方法：把文件存成.xlsx格式
2022-06-23 14:20:24
2468
原创 python已有整个数据集和验证集，自动生成训练集2
说明：txt中保存的内容形式是字典，\n隔开如果txt中保存的内容形式是str，图片索引，请看博主另一篇博客即拿即用，改文件路径就可import randomimport numpy as npimport reimport sysimport osimport jsonstr1 = []str2 = []str_dump = []fa = open("val.txt", 'rb')#验证集路径fb = open("all.txt", 'rb')#整个数据集路径fc = ope
2022-04-06 18:00:05
505
原创 python已有整个数据集和验证集，自动生成训练集
说明：txt文件中保存的是数据集索引，每个索引用\n隔开，内容是str形式 如果txt文件中存放的内容形式是字典，请看博主的另一篇博客import randomimport numpy as npimport reimport sysimport os'''自定义验证集，大家可按照自己想要的方式生成验证集，已有验证集的这步跳过'''#随机挑选200张图片作为验证集和1229张图片作为训练集resultlist = random.sample(range(1, 1449),200)pri
2022-04-06 17:47:44
1561
原创 python将指定内容添加到txt文件中
代码功能描述两个txt文件中分别存储若干嵌套字典，字典间用回车隔开，现将一个txt中的指定内容放入另一个txt文件中import jsonimport tqdmimport ositems = []titles = []input_filename='data'#data处填入查找内容的txt文件地址for file in input_filename.split(','): with open(file, 'rb') as f:#用with open结束时会自动关闭文件
2022-04-06 17:21:46
3908
原创 安装pycocotools库踩坑 ERROR: Failed building wheel for pycocotools
安装pycocotools库踩坑报错：ERROR: Failed building wheel for pycocotoolssubprocess-exited-with-errorlegacy-install-failureEncountered error while trying to install package.╰─> pycocotools解决方法输入：pip install pycocotools-windows -i https://pypi.tuna.tsing
2022-03-08 21:25:43
8776
8
原创 Transformer论文翻译
Attention Is All You Needword版本需要word版本的点赞，收藏，评论邮箱哦，整理不易，谢谢大家！摘要主流的序列转换模型基于复杂的卷积神经网络或循环神经网络、包括编码器和解码器。且性能好的模型往往需要注意力层连接编码器和解码器。我们提出了一个新型神经网络架构——Transformer，它完全基于注意力机制，省去了循环层和卷积层。在两个机器翻译任务上的实验表明，这些模型在质量上更优，同时具有更强的并行性，需要的训练时间显著减少。我们的模型在2014年WMT英德翻译任务中达
2022-01-27 17:49:27
1718
4
原创 《Deep Supervised Cross-modal Retrieval》论文阅读笔记
《Deep Supervised Cross-modal Retrieval》论文阅读笔记pipline动机：定义了三个损失函数，最小化了标签空间和公共表示空间中的鉴别损失（ discrimination loss），同时最小化模态不变性损失（ modality invariance loss），并使用权重共享策略消除公共表示空间中多媒体数据的跨模态差异。损失函数标签空间的损失U代表图像，V代表文本，Y代表标签第一个目标是一个分类的 loss ，其中 Y 是label 的 one-hot
2021-12-31 13:52:22
2027
原创 Transformer解读和实战
Transformer解读和实战背景循环神经网络(RNN)，LSTM，GRU等循环结构的神经网络已经在NLP应用任务中取得了卓越的表现，循环模型通常沿输入和输出序列的符号位置考虑计算，产生对应位置的隐藏状态ht，ht是前一状态ht-1和位置t的函数，这种顺序序列特性使得网络无法进行并行计算，对于较长的输入序列而言，其弊端就更加明显。Transformer是第一个完全依靠自我注意来计算其输入和输出表示的转导模型，而无需使用序列对齐的RNN或卷积。优点（1）因为其抛弃了在NLP中最根本的RNN或者CN
2021-12-30 22:13:41
3148
1
原创 Resnet解读和实战
Resnet解读和实战动机（灵感来源）1.增加网络的层数之后，训练误差往往不降反升。这是因为梯度消失或是梯度爆炸导致的。2.假设现有一个比较浅的网络已达到了饱和的准确率，这时在它后面再加上几个恒等映射层（Identity mapping，也即y=x，输出等于输入），这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。3.输入是x，期望输出是H(x)，即H(x)是期望的复杂潜在映射，如果是要学习这样的模型，则训练难度会比较大；如果已经学习到较饱和的准确率（或者当发
2021-12-30 15:15:31
3419
原创 python 类class学习总结（程序验证，超详细，包括多继承、循环、super（）.xxx等）
python类class学习总结1 类2 类变量和实例变量3 继承4 循环1 类类的定义：用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。通俗来说，假设我们定义一个person类，这个类可以包括姓名、学号、爱好等这些称之为属性，这个类还可以包括比如通过学号判断打印入学年份，这个称之为方法。类的语法格式如下 class ClassName: 语句1 ... 语句n(1)一个对象的特征称为"属性"(2)一个对象的行为称为"方法"
2021-11-17 19:33:30
1283
原创 基于遗传算法求解TSP问题（旅游路径规划，Python实现，超详细，可视化，结果分析）
巡回旅行商问题（TSP）是组合优化中的经典问题。常见的TSP问题求解算法例如穷举法、贪心算法、动态规划算法不适用于求解大量城市或是容易得到局部最优解，所以更多优化算法应运而生。文章将基于遗传算法的原理和传统求解步骤依据具体的TSP问题做出优化改进求解51个城市最短路径规划问题，并借助python语言实现交互功能（用户可从51个城市中自行选择旅游城市，程序将为用户推荐最佳旅行方案）。
2021-05-27 21:51:33
14520
55
原创 基于Logistic回归、贝叶斯、高斯分布、BP神经网络对Sonar数据集分类（matlab）
机器学习作业：数据分类1 数据集1.1 数据来源Sonar数据集来源于UCI数据库，UCI是加州大学欧文分校(University of CaliforniaIrvine)提出的用于机器学习的数据库。其官网地址如下：http://archive.ics.uci.edu/ml/index.php1.2 数据介绍声纳数据集（Sonar Dataset ）涉及预测根据给定声纳从不同角度返回的强度预测目标物体是岩石还是矿井。数据集一共有208个观察值，60个特征，2个类别（M为矿井，R为岩石），每个类的观
2021-05-27 20:52:03
2160
1
原创 基于LeNet-5网络实现手写体分类（入门版，超详细）
基于LeNet-5网络实现手写体分类ps：作者是很用心写的，如果觉得不错，请给作者一点鼓励噢！（点赞收藏评论噢）数据集图像都是28*28大小的灰度图像，每个像素的是一个八位字节（0~255），包含了60000张的训练图像和10000张的测试图像，主要是下面的四个文件1 引入库import torchimport torchvisionfrom torch.utils.data import DataLoaderimport torch.nn as nnimport torch.nn.fun
2021-05-14 14:01:27
1276
原创 基于Fisher 线性判别方法对Sonar数据分类（原理、matlab代码、可视化结果）
基于Fisher 线性判别方法的数据分类问题1 Fisher 线性判别方法介绍1.1 方法总括把 d 维空间的样本投影到一条直线上，形成一维空间，即通过降维去解决两 分类问题。如何根据实际数据找到一条最好的、最易于分类的投影方向，是 Fisher 判别方法所要解决的基本问题。1.2 求解过程1.2.1 核心思想假设有一集合 D 包含 m 个 n 维样本{x1, x2, …, xm}，第一类样本集合记为 D1，规模为 N1，第二类样本集合记为 D2，规模为 N2。若对 xi 的分量做线性组 合可得
2021-04-14 10:10:41
3335
64
原创 解决AttributeError: ‘NoneType‘ object has no attribute ‘loader‘报错问题
解决AttributeError: ‘NoneType’ object has no attribute 'loader’报错问题问题描述1）在Anoconda Prompt窗口torch环境下无论运行什么命令，都出现AttributeError: ‘NoneType’ object has no attribute 'loader’报错，命令运行失败2）打开torch环境下的jupyter编辑器也会出现相应报错原因分析1）输入指令查看安装了哪些Python库python -m pip li.
2021-04-07 16:13:43
10542
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人