![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据处理
文章平均质量分 54
深度学习中常用的数据处理方法的整理与总结。
xiyou__
长期接python编程咨询和编写辅助。
展开
-
DataFrame常用操作(持续更新)
DataFrame在实际使用中常用的操作代码。原创 2024-06-17 14:38:10 · 230 阅读 · 0 评论 -
SentiBank Dector上手指南
官网链接:https://www.ee.columbia.edu/ln/dvmm/vso/download/sentibank.htmlSentiBank Detector可以抽取图片中的形容词-名词对,之前一直看到,这次复现模型才第一次用到,上手的时候有点手足无措,因为官网在如何使用方面说的不是很清楚,但是用完发现也挺简单,这里记录一下。原创 2023-04-29 15:00:27 · 1213 阅读 · 3 评论 -
numpy常用知识(自用持更)
1 生成随机矩阵import numpy as npword=np.random.rand((dim,)) #0-1之间的随机数填充2 拼接另个numpy,效果类似于列表拼接c=np.concatenate((a,c), axis=0)eg:a=[[1,2,3],[2,3,4]]b=[[4,5,6],[6,7,8]]=>c=[[1,2,3],[2,3,4],[4,5,6],[6,7,8]]效果等同于:c=np.append(a,b)3 模型输出预测结果时使用y_pr原创 2021-08-09 16:27:58 · 70 阅读 · 0 评论 -
对image caption任务做evaluation(计算Bleu1,Bleu2,Bleu3,Bleu4,METEOR,ROUGE_L,CIDEr)
用到一两个image caption任务的模型,模型中没有给出性能评估的方法,于是在github上找到了一个能够评估image caption的模型,该模型能够提供常见的评价指标的结果,包括Bleu1,Bleu2,Bleu3,Bleu4,METEOR,ROUGE_L,CIDEr,SkipThoughtsCosineSimilarity,EmbeddingAverageCosineSimilarity,VectorExtremaCosineSimilarity,GreedyMatchingScore。git原创 2021-11-23 15:29:37 · 1310 阅读 · 0 评论 -
pytorch常用知识(自用持更)
pytorch & cuda & torchversion 对应表上图参考CSDN图片来源github使用gpu运行程序device = torch.device('cuda:0')#并在每个数据和模型后添加.to(device)Bug解决:RuntimeError: CUDA out of memory. Tried to allocate … MiB法一:调小batch_size,设到4基本上能解决问题,如果还不行,该方法pass。法二:在报错处、代码关键节点(原创 2021-07-06 20:50:52 · 474 阅读 · 0 评论 -
中文词向量word2vec计算相似度
基于word2vec词向量计算中文词语之间的相似度。原创 2022-07-06 15:59:26 · 1355 阅读 · 2 评论 -
TensorboardX:如何在pytorch上画loss曲线图 | TensorboardX入门使用指南
TensorboardX入门使用指南原创 2022-07-05 14:53:57 · 4923 阅读 · 0 评论 -
matplotlib使用(二):绘制一个简单的双柱状图
import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.ticker import MaxNLocatorfrom collections import namedtuplefig, ax = plt.subplots()n_groups = 6 #列数data1=(6,8,10,12,14,16) #柱状1的每一列对应的数据data2=(7,8,9,13,13,15) #柱状2每一列对应的数据bar_width原创 2021-11-23 16:39:38 · 3032 阅读 · 0 评论 -
在pytorch中如何使用lmdb
总述1、lmdb使用源码github链接:pytorch_lmdb_imagenet2、使用方法:①先修改folder2lmdb.py文件中的folder2lmdb函数将图片文件夹转化为lmdb文件;②再在实际实验中,修改 ImageFolderLMDB类,将现成的lmdb文件转化为dataset,方便后续读取。folder2lmdb.py完整源码及具体修改如下:import部分import osimport os.path as ospfrom PIL import Imageim原创 2021-07-14 16:43:23 · 3249 阅读 · 0 评论 -
python:向word中写入文本和图片
安装python包pip install python-docximport python包from docx import Documentfrom docx.shared import Inches#eg:doc=Document() #开头:声明一个doc文件...doc.save('sentimentCasedStudy.docx') #结尾:定义文件名并保存实例:向doc中写入文本和图片doc=Document() #声明一个doc文件doc.add_paragrap原创 2021-07-26 20:56:57 · 1325 阅读 · 0 评论 -
matplotlib使用(一):绘制一个简单的柱状图
import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.ticker import MaxNLocatorfrom collections import namedtuplefig, ax = plt.subplots()n_groups = 6 #列数data=(6,8,10,12,14,16) #每一列对应的数据index=('a','b','c','d','e','f') #横坐标bar_width = 0.原创 2021-11-23 15:57:57 · 981 阅读 · 0 评论 -
Jupyter Notebook对数据集进行数据分析 数据统计(含:样本数量/样本长度/样本长度分布图/示例样本打印)
以下内容可直接以写入.ipynb文件的形式,放入服务器上任意已准备好数据集的文件夹下:导入模块import osimport jsonimport refrom collections import defaultdict绘图函数def draw(dic): #输入样本数量统计字典 import numpy as np import matplotlib.pyplot as plt from matplotlib.ticker import MaxNLocat原创 2022-02-25 12:30:15 · 5642 阅读 · 0 评论 -
数据处理入门:自然语言处理NLP常用文本预处理操作整理
常用文本预处理操作。原创 2021-04-02 14:26:58 · 4614 阅读 · 1 评论