高颜值的杀生丸(此博客转载自我的博客园)

原创 qa问答机器人pysparnn问题的召回

"""构造召回的模型"""from sklearn.feature_extraction.text import TfidfVectorizerimport pysparnn.cluster_index as cifrom cut_sentence import cutimport jsondef prepar_recall_datas(): qa_dict =...

原创 pysparnn 模块使用,相似句子召回

import pysparnn.cluster_index as cifrom sklearn.feature_extraction.text import TfidfVectorizerdata = [ "hello world", "oh hello there", "Play it", "Play it again Sam",]tv ...

原创 pytorch seq2seq闲聊机器人beam search返回结果

decoder.py"""实现解码器"""import heapqimport torch.nn as nnimport configimport torchimport torch.nn.functional as Fimport numpy as npimport randomfrom chatbot.attention import Attention...

原创 pytorch seq2seq闲聊机器人加入attention机制

attention.py"""实现attention"""import torchimport torch.nn as nnimport torch.nn.functional as Fimport configclass Attention(nn.Module): def __init__(self,method="general"): s...

原创 python 中自带的堆模块heapq

import heapqmy_heap = [] #使用列表保存数据#网列表中插入数据，优先级使用插入的内容来表示，就是一个比较大小的操作，越大优先级越高heapq.heappush(my_heap,[29,True,"xiaohong","asdfa"])heapq.heappush(my_heap,[28,False,"xiaowang"])heapq.heappu...

原创 pytorch seq2seq闲聊机器人

cut_sentence.py"""实现句子的分词注意点：1. 实现单个字分词2. 实现按照词语分词2.1 加载词典3. 使用停用词"""import stringimport jiebaimport jieba.posseg as psgimport loggingstopwords_path = "../corpus/stopwords.txt"...

原创 pytorch 矩阵数据增加维度unsqueeze和降低维度squeeze

增加一个维度 out.unsqueeze(-1)降低一个维度 out.squeeze(dim=1)

原创 pytorch seq2seq模型中加入teacher_forcing机制

在循环内加的teacher forcing机制，这种为目标确定的时候，可以这样加。目标不确定，需要在循环外加。decoder.py 中的修改"""实现解码器"""import torch.nn as nnimport configimport torchimport torch.nn.functional as Fimport numpy as npimport ...

原创 pytorch seq2seq模型训练测试

num_sequence.py"""数字序列化方法"""class NumSequence: """ input : intintint output :[int,int,int] """ PAD_TAG = "<PAD>" UNK_TAG = "<UNK>" SOS_TAG = "<SOS...

原创 python os模块判断文件是否存在

import osos.path.exists(test_file.txt)　　

原创 python os模块判断文件是否存在,file_path获取当前文件路径

import osfile_path = os.path.dirname(__file__)os.path.exists(test_file.txt)

原创 pytorch 去除维度为1的维度

out.squeeze(dim=1)out.squeeze_(dim=1)

原创 fasttext的使用，预料格式，调用方法

数据格式：分词后的句子+\t__label__+标签fasttext_model.pyfrom fasttext import FastTextimport numpy as npdef get_data_path(by_word=True,train=True): if by_word: return "./classify/data_by_wor...

原创 python中文语料分词处理，按字或者词cut_sentence

cut_sentence.pyimport stringimport jiebaimport jieba.posseg as psgimport logging#关闭jieba日制jieba.setLogLevel(logging.INFO)jieba.load_userdict("./corpus/keywords.txt")stopwords_path = "....

原创 fasttext 和pysparnn的安装

原创 pytorch 中序列化容器nn.Sequential

按下图顺序搭建以及执行

原创 pytorch LSTM情感分类全部代码

先运行main.py进行文本序列化，再train.py模型训练dataset.pyfrom torch.utils.data import DataLoader,Datasetimport torchimport osfrom utils import tokenlizeimport configclass ImdbDataset(Dataset): d...

原创 pytorch 文本情感分类和命名实体识别NER中LSTM输出的区别

文本情感分类：文本情感分类采用LSTM的最后一层输出比如双层的LSTM，使用正向的最后一层和反向的最后一层进行拼接 def forward(self,input): ''' :param input: :return: ''' input_embeded = self.embedding...

原创 windows 系统查看NVIDIA显卡GPU情况，nvidia-smi在windows上使用

cd C:\Program Files\NVIDIA Corporation\NVSMInvidia-smi

原创 pytorch 中LSTM模型获取最后一层的输出结果，单向或双向

单向LSTMimport torch.nn as nnimport torchseq_len = 20batch_size = 64embedding_dim = 100num_embeddings = 300hidden_size = 128number_layer = 3input = torch.randint(low=0,high=256,size=[...

原创 pytorch 中的LSTM模块

原创 文本序列化【通用】word2sequence，文本序列字典保存

'''文本序列化'''class WordSequence(): UNK_TAG = "<UNK>" PAD_TAG = "<PAD>" UNK = 1 PAD = 0 def __init__(self): self.dict = { self.UNK_TAG:self....

原创 英文语料的分词处理

"""实现额外的方法"""import redef tokenlize(sentence): """ 进行文本分词 :param sentence: str :return: [str,str,str] """ fileters = ['!', '"', '#', '$', '%', '&', '\(', '\)', ...

原创 pytorch 中word embedding 词向量的使用

原创 pytorch GPU训练好的模型使用CPU加载

torch.load('tensors.pt')# 把所有的张量加载到CPU中torch.load('tensors.pt', map_location=lambda storage, loc: storage)# 把所有的张量加载到GPU 1中torch.load('tensors.pt', map_location=lambda storage, loc: storage....

原创 pytorch 手写数字识别项目 增量式训练

dataset.py'''准备数据集'''import torchfrom torch.utils.data import DataLoaderfrom torchvision.datasets import MNISTfrom torchvision.transforms import ToTensor,Compose,Normalizeimport torchv...

原创 pytorch 中模型的保存与加载，增量训练

让模型接着上次保存好的模型训练，模型加载#实例化模型、优化器、损失函数model = MnistModel().to(config.device)optimizer = optim.Adam(model.parameters(),lr=0.01)if os.path.exists("./model/mnist_net.pt"): model.load_state_...

原创 pytorch 中交叉熵损失实现方法

原创 pytorch torchversion标准化数据

新旧标准差的关系

原创 pytorch 中HWC转CHW

import torchimport numpy as npfrom torchvision.transforms import ToTensort = torch.tensor(np.arange(24).reshape(2,4,3))print(t)#HWC 转CHWprint(t.transpose(0,2).transpose(1,2))print(t.pe...

原创 pytorch torchversion自带的数据集

from torchvision.datasets import MNIST# import torchvision# torchvision.datasets.#准备数据集mnist = MNIST(root="./mnist",train=True,download=True)print(mnist)mnist[0][0].show()print(len...

原创 pytorch Dataset数据集和Dataloader迭代数据集

import torchfrom torch.utils.data import Dataset,DataLoaderclass SmsDataset(Dataset): def __init__(self): self.file_path = "./SMSSpamCollection" self.lines = open(self.fi...

原创 pytorch Model Linear实现线性回归CUDA版本

实验代码import torchimport torch.nn as nn#y = wx + bclass MyModel(nn.Module): def __init__(self): super(MyModel,self).__init__() #自定义代码 # self.w = torch.rand([500,...

原创 pytorch实现手动线性回归

import torchimport matplotlib.pyplot as pltlearning_rate = 0.1#准备数据 #y = 3x +0.8x = torch.randn([500,1])y_true = 3*x + 0.8#计算预测值w = torch.rand([],requires_grad=True)b = torch.tensor(0,...

原创 pytorch中的前项计算和反向传播

前项计算1import torch# (3*(x+2)^2)/4#grad_fn 保留计算的过程x = torch.ones([2,2],requires_grad=True)print(x)y = x+2print(y)z = 3*y.pow(2)print(z)out = z.mean()print(out)#带有反向传播属性的tensor不能直接...

原创 pytorch中CUDA类型的转换

import torchimport numpy as npdevice = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")x = torch.tensor(np.arange(15).reshape(3,5))if torch.cuda.is_available(): device =...

原创 pytorch中tensor的属性 类型转换 形状变换 转置 最大值

import torchimport numpy as npa = torch.tensor([[[1]]])#只有一个数据的时候，获取其数值print(a.item())#tensor转化为nparrayb = a.numpy()print(b,type(b),type(a))#获取张量的形状a = torch.tensor(np.arange(30).resh...

原创 pytorch中tensor张量的创建

import torchimport numpy as npprint(torch.tensor([1,2,3]))print(torch.tensor(np.arange(15).reshape(3,5)))print(torch.empty([3,4]))print(torch.ones([3,4]))print(torch.zeros([3,4]))#0-1之间的...

原创 TensorFlow keras 迁移学习

数据的读取import tensorflow as tffrom tensorflow.python import kerasfrom tensorflow.python.keras.preprocessing.image import ImageDataGeneratorclass TransferModel(object)...

原创 TensorFlow keras vgg16net的使用

from tensorflow.python.keras.applications.vgg16 import VGG16,preprocess_input,decode_predictionsfrom tensorflow.python.keras.preprocessing.image import load_img,img_to_arraydef predict(): ...