深度学习
文章平均质量分 56
weixin_37763484
数据挖掘 图像\文本\结构化数据处理
展开
-
图像光照特效
图像增强,为图像增加光照效果。原创 2024-08-19 18:12:24 · 317 阅读 · 0 评论 -
python 阴暗图像 亮度增强 对比度增强 去雾
图像亮度增强、对比度增强,减轻阴暗图像对模型的干扰。原创 2024-08-19 15:06:20 · 663 阅读 · 0 评论 -
图像增强 目标检测 仿射变换 图像处理 扭曲图像
目标检测中,进行数据增强。对图像进行仿射变换,同时保留标注框的信息。原创 2024-07-03 00:12:21 · 906 阅读 · 1 评论 -
利用PaddleNLP进行文本数据脱敏
敏感信息脱敏,借助paddlenlp工具,完成姓名、地名、金额、时间等信息的处理,保障数据安全。处理结果可读性高,指代关系明确,可以做到脱敏而不影响信息传递。原创 2024-02-19 19:34:26 · 875 阅读 · 1 评论 -
doccano 文本标注工具使用
文本标注工具 doccano 多人标注 协同标注原创 2023-09-12 10:37:35 · 1061 阅读 · 9 评论 -
自动化深度学习工具AutoGluon
自动化深度学习工具,一键完成文本、图像、预测、语言处理相关任务原创 2023-03-09 09:45:23 · 807 阅读 · 0 评论 -
知识图谱 方法、实践与应用 王昊奋 读书笔记(下)
知识图谱 读书笔记 知识图谱推理 语义搜索 KQBA 知识图谱问答原创 2023-02-13 20:06:46 · 877 阅读 · 0 评论 -
pytorch 频率 过滤 保留高频 保留低频
实验中遇到这样一个需求,在[batch_size,seq_length]的二维tensor中,找到每一个batch_size中出现频率最高的那一项,过滤掉其他项(保持原有形状),并获取其编码。例如,输入序列是[ [1,1,1,2,2],[3,3,4,4,4]], 期望获得[[1,1,1,0,0],[0,0,4,4,4]],之后再获取1和4的embedding表示。(如果想获得[1,4]也是类似的),代码如下:import numpy as npimport torch # 关键代码,数据会在后原创 2021-03-09 17:55:17 · 1034 阅读 · 0 评论 -
pytorch position位置编码 倒置 反向添加
pytorch 位置编码 position 反向添加 倒置原创 2021-03-02 22:25:05 · 660 阅读 · 2 评论 -
pytorch Embedding 修改 自定义
现在你有一个[20,64]的编码emb1,代表20件商品。现在你想将每个商品的特征信息emb2融入到编码中,获得一个新的[20,64]的编码emb1’。假设商品信息编码emb2是[20,8]的,你需要将emb1中的每一个编码的前8项emb1[:,:8] 换成 emb2,可以这样做:(下面代码的embedding代表的是商品编码,fea代表的是商品的特征信息) import torch import torch.nn as nn x = nn.init.xavier_normal原创 2021-03-02 00:28:52 · 1755 阅读 · 0 评论 -
pytorch topk 保持维度和位置 置零
pytorch的topk能够返回最大的k个值,现在假设有一个[2,3,4]的权重矩阵,如果我们需要在第三个维度找出最大的两个值,(并保持权重矩阵的维度不变,且最大值的位置也不变),topk就不是很好用了,以下代码能解决这个问题:import torchimport numpy as npif __name__ == "__main__": x=torch.tensor(np.arange(1,25)).reshape(2,3,4) print(x) # k=2表示选择两个最大值原创 2021-02-26 00:18:08 · 2297 阅读 · 2 评论 -
pytorch gru rnn lstm 整理
其他人的博客里对于参数之类的讲解已经很详细了,这里汇总一下我看到的可能有用的资源,首先是lstm等的pytorch实现的直观理解,然后是gru的手动实现,rnn和lstm类似。rnn类似的网络,并不是一次输入1句话,而是每次输入一个单词。例如[[11,12,13,14],[21,22,23,24]],每个数字代表一个单词,输入的时候,是按照(11,21),(12,22),(13,23),(14,24)的顺序输入的。1.pytorch(参考AI有道:https://zhuanlan.zhihu.com/p原创 2021-01-27 23:41:53 · 322 阅读 · 4 评论 -
pytorch-gpu 与 jupyter
安装torch-gpu的时候,可能不需要额外安装cudnn与cuda,cuda可能是电脑自带的,cudnn好像会跟torch一起被安装。今天准备自己处理一下数据,数据量1G以上,所以需要用jupyter,我运行了一下conda install jupyter就崩溃了,尝试了很久没法回复,所以从头安装一下,整个过程记录如下:新建py36环境 conda create -n torch_jupyter python=3.6安装pandas等必要的库;随后安装jupyter notebook,注意使用原创 2021-01-24 23:01:40 · 681 阅读 · 1 评论 -
pytorch 获取最后一个非0值 截取
之前的一个文章写过tensorflow如何实现,有可能对大家有帮助,这里用pytorch实现了一下,大概意思就是,输入1个[batch_size , seq_len ]的矩阵,目的是获取每一行中的最后一个非零元素,例如[ [1,2,3,0,0,0], [4,5,0,0,0,0]],期望获取[[3],[5]], 这个功能在srgnn之类的模型中有用到,就是获取每个交互序列的最后一个有意义值。注意序列中,0都是排在末尾的。import torchimport timeif __name__ == "__原创 2021-01-21 11:29:40 · 1197 阅读 · 4 评论 -
pytorch gather 使用详解
gather别人有讲过,但是有些抽象,我举个例子来展示。假设3位同学参加4个科目的考试,成绩记录位item_emb,每门科目有可能考一次,也有可能考两次(为了举例子方便)注意,下面的-1会在最后再讲一下。index和item_emb在-1之外的维度上,形状必须相同在dim=0的情况下gather,假设,考4门,每门科目考一次,item_em是(3,4,1)的,在dim=0上做操作,因此index必须是(-1,4,1)维度的,index中元素的取值不能大于3-1,会生成一个(1,4,1)的向量,这个向量原创 2021-01-20 19:36:52 · 218 阅读 · 3 评论 -
pytorch repeat 使用详解
repeat可以完成指定维度上的复制,通过不同的复制方法以及与view的混用,能完成向量之间的两两交互,在与推荐系统有关实际使用中,repeat可以这样用:假设有一个item_emb矩阵,形状是[2,2,4],代表了2位用户,每个用户有2个感兴趣的商品,每个商品可以用4维向量表示:item_emb:tensor([ [[0.5764, 0.8429, 0.5437, 0.9735], [0.8917, 0.5450, 0.7866, 0.6392]],原创 2021-01-18 23:26:33 · 734 阅读 · 3 评论 -
pytorch 矩阵相乘 matmul 详解
论文中经常遇到加权和,其中的权重对应着下面weight矩阵中的“3”,需要处理的数据对应着下面的item矩阵,item矩阵是[35]的,这里的“3”最关键,理解了3的意义,也就理解了矩阵相乘假设有一个weight矩阵[43],和一个item矩阵[3*5]:weight矩阵表示4位用户对三件产品的关注程度,item矩阵表示三件产品在5个维度上的得分weight:tensor([[0.1000, 0.1000, 0.9000], [0.0100, 0.0100, 0.9800],原创 2021-01-18 18:20:58 · 1585 阅读 · 0 评论 -
tensorflow2.0线性回归
tf2和pytorch比较像了,感觉都是动态图,好写一些,这里找到个线性回归的代码供大家参考,是github上一个教程TensorFlow-2.x-Tutorials的。tf2用tape进行反向传播等操作,感觉比pytorch还要简单些,不用清零了。import tensorflow as tfimport numpy as npfrom tensorflow import kerasimport osclass Regressor(keras.layers.Layer):转载 2021-01-16 22:00:33 · 140 阅读 · 1 评论 -
谷歌Colab 免费gpu
矩池云如果只是短暂使用,请用矩池云,大概3元/小时,就能用2080Ti,和kaggle的免费平台差不多快(kaggle现在是30小时gpu加30小时tpu,tpu需要代码支持),google可能分配到P100之类的显卡,性能还不如2080Ti,但如果分配到v100之类的,可能会比2080Ti快一半。Colab参考了下面的链接,这个链接有点老,但是很多内容还是不错的,请结合下面链接和我后面的内容一起看。https://www.jianshu.com/p/2cf00bb9db34步骤:上传数据和原创 2020-12-21 20:07:05 · 1538 阅读 · 3 评论 -
tensorflow 获取最后一个非0值 截取
问题描述在研究srgnn这个图序列推荐模型的时候遇到了这个问题。例如,你有一个4*6的列表list_,4表示batch_size, 8表示每个样本中的元素的个数,(用0补齐)你还有一个mask列表,用来表示每个样本中的元素是否是非零值:list=[ [1,2,3,0,0,0], [4,5,0,0,0,0], [6,7,8,9,0,0], [1,2,3,0,0,0]]mask=[ [1,1,1,0,0,0], [原创 2020-12-18 22:37:49 · 629 阅读 · 2 评论 -
tensorflow 获取形状
使用这个函数即可:def get_shape(inputs): dynamic_shape = tf.shape(inputs) static_shape = inputs.get_shape().as_list() shape = [] for i, dim in enumerate(static_shape): shape.append(dim if dim is not None else dynamic_shape[i]) return s原创 2020-10-01 17:49:56 · 610 阅读 · 3 评论 -
faiss安装
按照官网教程,发现安装很慢,并且官网安装时下载的包的版本也不对,conda install -c pytorch很慢,因此选择手动安装包。1.安装mklconda install mkl2.下载faiss-gpu首先查看一下自己的cuda版本和python版本,这个一定的要弄对。然后去 https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/ 下载,我下载的是faiss-gpu-1.5.0-py35_cuda10原创 2020-09-28 16:08:27 · 1756 阅读 · 7 评论 -
ubuntu 安装tensorflow-gpu
不用手动安装cuda和cudnn!!!我是在ubuntu子系统上安装的,没有装双系统,安装过程参考下面链接(我安装18.04)https://www.jianshu.com/p/2bcf5eca5fbc1.安装显卡驱动去nvidia驱动下载界面搜索自己的显卡驱动版本,我的是435,因此执行sudo apt-get install nvidia-435。测试安装成功输入nvidia-smi参考https://blog.csdn.net/linhai1028/article/details/79445原创 2020-09-24 18:56:34 · 722 阅读 · 2 评论 -
tensorflow GPU版本安装及报错
1. tf1-gpu安装注意参考地址:https://www.e-learn.cn/content/qita/609443注意不要同时运行多个python解释器,一定要把cpu版本的tf和之前安装的tensorflow卸载干净,确保conda list和pip list中没有cpu版本的tensorflow,最好把tensorboard等也卸载。安装完成后,conda list查看一下,c...原创 2020-02-11 14:30:27 · 363 阅读 · 0 评论 -
win10 GTX1060 安装CUDA+PyTorch GPU
1.说明其他博客已经讲得很详细了,但是或多或少会有些问题,我自己安装了一遍 发下了如下的一些注意事项,想安装的同学们注意了。假设你已经安装好了anaconda 和py37。2.CUDA和 cudnn安装cuda的时候,大的版本号一定要对,安装cuda的时候会自动帮你更新驱动的版本。例如我现在的显卡支持9.2.1,那么安装cuda9.2.148的时候,会自动让我的显卡驱动更新到9.2.14...原创 2020-01-10 13:22:51 · 7006 阅读 · 1 评论 -
tensorflow 参数初始化,dropout或batchnorm,梯度截断的实现
概要本文介绍了一些晓得训练技巧,分别是参数初始化、dropout和batch_norm、梯度截断,中间两者可以单独使用,一起使用的话,需要尝试一下。一种初始化方法,xavier看了其他人的博客,发现有一种参数初始化的方法没有被提到,需要的话可以尝试一下: w1 = tf.get_variable('w1', [2, 2], tf.float32, xavier_initializer...原创 2019-12-16 22:48:26 · 374 阅读 · 0 评论