bingxiash-CSDN博客

原创生成编辑距离为1的单词

编辑距离有插入，删除，修改操作def generate_edit_one(str): """ 给定一个字符串,生成编辑距离为1的字符串列表。 """ letters = 'abcdefghijklmnopqrstuvwxyz' splits = [(str[:i], str[i:])for i in range(len(str)+1)] print(splits) inserts = [L + c + R for L, R in splits for c in letters

2021-02-23 10:02:05 210

原创 viterbi算法解决词性标注问题

核心思想：求出 A, B, π --> 通过动态规划构造dp保存最优路径 --> 反向获得最佳词性序列代码如下：tag2id, id2tag = {}, {} # maps tag to id . tag2id: {"VB": 0, "NNP":1,..} , id2tag: {0: "VB", 1: "NNP"....}word2id, id2word = {}, {} # maps word to idfor line in open('traindata.txt'):

2021-02-18 18:28:54 270

原创 python3 sort和sorted

1.sort和sorted均为python的内置函数key – 主要是用来进行比较的元素，只有一个参数，具体的函数的参数就是取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。reverse – 排序规则，reverse = True 降序， reverse = False 升序（默认）iterable – 可迭代对象。cmp – 比较的函数，这个具有两个参数，参数的值都是从可迭代对象中取出，此函数必须遵守的规则为，大于则返回1，小于则返回-1，等于则返回0。key – 主要是用来进行比较

2021-01-21 09:39:42 272

原创 pytorch学习11-GAN

batch_size = 32transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=(0.5,), std=(0.5,))])mnist_data = torchvision.datasets.MNIST("./mnist_data",train=True, download=True, transform=transform)

2020-06-26 18:02:57 316

原创 pytorch学习10-图片风格迁移

图片风格迁移from torchvision import models,transformsfrom PIL import Imageimport torchimport torchvisionimport torch.nn as nnimport numpy as npimport matplotlib.pyplot as pltdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")def load

2020-06-26 18:00:05 654 1

原创 pytorch学习9-实现CNN模型的迁移学习

CNN模型的迁移学习1.数据准备2.读入数据3.模型训练很多时候当我们需要训练一个新的图像分类任务，我们不会完全从一个随机的模型开始训练，而是利用_预训练_的模型来加速训练的过程。我们经常使用在ImageNet上的预训练模型。这是一种transfer learning的方法。我们常用以下两种方法做迁移学习。fine tuning: 从一个预训练模型开始，我们改变一些模型的架构，然后继续训练整个模型的参数。feature extraction: 我们不再改变预训练模型的参数，而是只更新我们改变过的部分

2020-06-24 18:39:45 2096 1

原创 pytorch学习8-实现卷积神经网络

实现卷积神经网络1.加载数据2.定义CNN模型3.初始化模型和定义优化函数4.定义训练和测试模型5.查看运行结果1.加载数据import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transforms# torchvision是独立于pytorch的关于图像操作的一些方便工具库。# torchvisi

2020-06-24 11:33:30 406

原创 pytorch学习7-情感分类

情感分类-Word Averaging模型1.准备数据2.构建Word Averaging模型3.训练模型4.进行预测PyTorch模型和TorchText再来做情感分析(检测一段文字的情感是正面的还是负面的)。我们会使用IMDb 数据集，即电影评论。1.准备数据TorchText中的一个重要概念是Field。Field决定了你的数据会被怎样处理。在我们的情感分类任务中，我们所需要接触到的数据有文本字符串和两种情感，“pos"或者"neg”。Field的参数制定了数据会被怎样处理。我们使用TEXT

2020-06-20 15:56:53 1713

原创 pytorch学习6-实现语言模型（rnn，lstm和gru）

pytorch实现语言模型

2020-06-19 12:36:26 1950

原创 leetcode-array

数组1. Two Sum15. 3Sum16. 3Sum Closest18. 4Sum26. Remove Duplicates from Sorted Array27. Remove Element41. First Missing Positive48. Rotate Image54. Spiral Matrix59. Spiral Matrix II56. Merge Intervals57. Insert Interval55. Jump Game66. Plus One73. Set Matri

2020-06-14 12:17:24 209

原创 pytorch学习5-word2vec（skip-gram）实现

pytorch实现word2vec1.准备训练数据（1）读取文本数据（2）实现dataloader2.定义模型3.定义评估函数4.定义优化函数5.训练模型6.准确度评估1.准备训练数据（1）读取文本数据import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.utils.data as tudfrom torch.nn.parameter import Parameterfrom collect

2020-06-10 18:05:36 564

原创 pytorch学习4-FizzBuzz游戏

FizzBuzz游戏1.准备训练数据2.定义模型3.定义一个损失函数和一个优化算法4.训练数据5.预测数据6.测试数据准确率FizzBuzz是一个简单的小游戏。游戏规则如下：从1开始往上数数，当遇到3的倍数的时候，说fizz，当遇到5的倍数，说buzz，当遇到15的倍数，就说fizzbuzz，其他情况下则正常数数。# One-hot encode the desired outputs: [number, "fizz", "buzz", "fizzbuzz"]def fizz_buzz_encode(

2020-06-08 10:25:13 362

原创 pytorch学习3-构建神经网络

一个神经网络的典型训练过程如下：定义包含一些可学习参数(或者叫权重）的神经网络在输入数据集上迭代通过网络处理输入计算loss(输出和正确答案的距离）将梯度反向传播给网络的参数更新网络的权重，一般使用一个简单的规则：weight = weight - learning_rate * gradient1.定义网络import torchimport torch.nn as nnimport torch.nn.functional as Fclass Net(nn.Module):

2020-06-05 12:59:11 249

原创 pytorch学习2-Autograd：自动求导

autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。1.张量torch.Tensor 是这个包的核心类。如果设置它的属性 .requires_grad 为 True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward()，来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。为了防止跟踪历史记录(和使用内存），可以将代码块包

2020-06-05 12:45:28 673

原创 pytorch学习1-基础知识

pytorch基础1.张量（1）创建一个没有初始化的5*3矩阵（2）创建一个随机初始化矩阵（3）构造一个填满0且数据类型为long的矩阵（4）直接从数据构造张量（5）根据已有的tensor建立新的tensor。除非用户提供新的值，否则这些方法将重用输入张量的属性。2.运算（1）加法：形式一（2）加法：形式二（3）加法：形式三,给定一个输出张量作为参数（4）加法：原位/原地操作(in-place）（5）也可以使用像标准的NumPy一样的各种索引操作（6）改变形状：如果想改变形状，可以使用torch.view（

2020-06-05 12:27:31 472

原创 cnn-text文本分类

cnn-text文本分类1.data_helpers文件2.text_cnn文件3.train文件4.eval文件1.data_helpers文件import numpy as npimport redef clean_str(string): """ Tokenization/string cleaning for all datasets except for SST. Original taken from https://github.com/yoonkim/CN

2020-05-31 20:09:36 458 2

原创 Gensim模块训练词向量

word2vec训练中文模型1.准备数据与预处理2.繁体转简体3.结巴分词4.模型训练5.模型测试1.准备数据与预处理首先需要一份比较大的中文语料数据，可以考虑中文的维基百科（也可以试试搜狗的新闻语料库）。中文维基百科的打包文件地址为https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2中文维基百科的数据不是太大，xml的压缩文件大约1G左右。首先用 process_wiki_data.py处理这个

2020-05-30 22:54:30 883

原创 leetcode-heap

堆23. Merge k Sorted Lists215. Kth Largest Element in an Array264. Ugly Number II347. Top K Frequent Elements23. Merge k Sorted ListsMerge k sorted linked lists and return it as one sorted list. Analyze and describe its complexity.Example:Input:[ 1

2020-05-30 22:18:49 170

原创自然语言处理与文本表示

Word2Vec介绍

2020-05-29 13:03:49 687

原创 leetcode-栈

leetocde-栈20. Valid Parentheses42. Trapping Rain Water71. Simplify Path84. Largest Rectangle in Histogram85. Maximal Rectangle150. Evaluate Reverse Polish Notation155. Min Stack224. Basic Calculator225. Implement Stack using Queues232. Implement Queue usin

2020-05-17 08:50:16 176

原创 keras实现LSTM

lsvm进行诗歌生成from keras.models import Sequentialfrom keras.layers.core import Dense,Activation,Dropoutfrom keras.layers.recurrent import LSTMfrom keras.utils.data_utils import get_fileimport numpy as npimport random,sys# helper function to sample an i

2020-05-15 19:54:37 587

原创 tensorflow实战例子

tensorflow实战1.简单线性回归（1）数据准备（2）准备好placeholder（3）初始化参数/权重（4）计算预测结果（5）计算损失函数值（6）初始化optimizer（7）指定迭代次数，并在session里执行graph1.简单线性回归（1）数据准备实际的数据大家可以通过pandas等package读入，也可以使用自带的Boston House Price数据集，这里为了简单，我们自己手造一点数据集。%matplotlib inlineimport numpy as npimport

2020-05-15 16:45:57 2678

原创 keras入门实战

keras实战1.线性回归2.非线性回归3.非线性回归1.线性回归import kerasimport numpy as npimport matplotlib.pyplot as plt# Sequential按顺序构成的模型from keras.models import Sequential# Dense全连接层from keras.layers import Dense# 使用numpy生成100个随机点x_data = np.random.rand(100)noise = n

2020-05-13 12:44:22 573 2

原创 leetcode-树

树94. Binary Tree Inorder Traversal95. Unique Binary Search Trees II96. Unique Binary Search Trees98. Validate Binary Search Tree99. Recover Binary Search Tree100. Same Tree101. Symmetric Tree102. Binary Tree Level Order Traversal103. Binary Tree Zigzag Lev

2020-05-13 08:57:52 99

原创朴素贝叶斯实战

朴素贝叶斯实战一.朴素贝叶斯理论1.引言2.贝叶斯公式3. 用机器学习的视角理解贝叶斯公式4. 朴素贝叶斯(Naive Bayes)，“Naive”在何处5. 实际工程trickstrick1：取对数trick2：转换为权重trick3：选取topk的关键词trick4：分割样本trick5：位置权重trick6：蜜罐二.朴素贝叶斯实战1 新闻分类：2.语言检测：一.朴素贝叶斯理论1.引言贝叶斯方法是一个历史悠久，有着坚实的理论基础的方法，同时处理很多问题时直接而又高效，很多高级自然语言处理模型也可以

2020-05-08 19:50:43 708 2

安卓智能家居系统

空空如也