- 博客(62)
- 收藏
- 关注
RSS订阅原创 hash
Python 调用内部的散列函数，将键（Key）作为参数进行转换，得到一个唯一的地址（这也就解释了为什么给相同的键赋值会直接覆盖的原因，因为相同的键转换后的地址是一样滴），然后将值（Value）存放到该地址中。解决冲突这些后续再看...
2020-07-17 10:03:44
232
原创 python 装饰器 限制函数的最长运行时间，适用于爬虫超时
'''https://blog.csdn.net/dcrmg/article/details/82850457'''# coding=utf-8import signalimport timedef set_timeout(num, callback): def wrap(func): def handle(signum, frame): # 收到...
2019-12-19 09:51:20
548
转载 Ubuntu16.04下安装显卡驱动记录
Ubuntu16.04下安装显卡驱动记录 - lllittletree - 博客园 https://www.cnblogs.com/myblog1993/p/9284071.html安装环境及硬件信息Ubuntu16.04 LTS 内核版本：4.4.0 显卡：Nvidia GeForce GTX 1060安装过程一、首先要下载好显卡驱动程序，官方网址：http://www...
2019-09-21 17:40:39
273
原创 python 多线程报错An attempt has been made to start a new process before the current process has finished
报错信息：An attempt has been made to start a new process before the current process has finished its原因：多进程需要在main函数中运行，解决方法1：加main函数，在main中调用解决方法2：num_workers改为0，单进程加载...
2019-08-16 16:34:43
3585
原创 维特比viterbi算法
先举个例子来解释从前有个村儿，村里的人的身体情况只有两种可能：健康或者发烧。假设这个村儿的人没有体温计或者百度这种神奇东西，他唯一判断他身体情况的途径就是到村头我的偶像金正月的小诊所询问。月儿通过询问村民的感觉，判断她的病情，再假设村民只会回答正常、头晕或冷。有一天村里奥巴驴就去月儿那去询问了。第一天她告诉月儿她感觉正常。第二天她告诉月儿感觉有点冷。第三天她告诉月儿感觉有点头晕。...
2019-05-17 15:16:51
1296
原创 python 中的 @classmethod
官方的说法：classmethod(function)中文说明：classmethod是用来指定一个类的方法为类方法，没有此参数指定的类的方法为实例方法，使用方法如下：class C: @classmethod def f(cls, arg1, arg2, ...): ...看后之后真是一头雾水。说的啥子东西呢？？？自己到国外的论坛看其他的例子和...
2019-04-27 15:58:43
212
原创 pycharm远程连接服务器调试-tensorflow无法加载问题，或者说是选择的cuda版本不对的问题
最近打算在win系统下使用pycharm开发程序，并远程连接服务器调试程序，其中在import tensorflow时报错如图所示（在远程服务器中执行程序正常）：直观错误为：ImportError: libcusolver.so.8.0: cannot open shared object file: No such file or directoryFailed to load th...
2019-04-27 11:26:09
1205
2
原创 jsonlines库 .jsonl文件
import jsonlines#写文件，使用jsonlines.open()a={1:"a",2:"b"}b={3:"c",4:"d"}file=jsonlines.open("test.jsonl","w")jsonlines.Writer.write(file,a) # 每行写入一个dictjsonlines.Writer.write(file,b)file.close(...
2019-04-19 15:45:36
4495
原创 TensorFlow不同版本与cuda版本之间的对应关系
https://www.tensorflow.org/install/source#common_installation_problems在这个链接中可以找到对于本人而言，安装的TensorFlow是1.13.0版本，所以需要在10.0的cuda环境下才能运行起来，其他cuda版本运行会报错。切换cuda版本的方式见我的另一篇博客https://blog.csdn.net/qq_...
2019-04-15 16:13:48
44337
9
原创 stack()函数
a=torch.Tensor(range(1,7)).view(2,3)b=torch.Tensor(range(7,13)).view(2,3)c=torch.Tensor(range(13,19)).view(2,3)d=torch.stack((a,b,c),dim=0)print(a)print(b)print(c)print(d)########## dim=0te...
2019-04-13 17:34:43
3845
原创 dict.get(key, default=None)
dict.get(key, default=None)Python 字典(Dictionary) get() 函数返回指定键的值，如果值不在字典中返回默认值。
2019-04-09 13:31:54
376
原创 Linux 命令
cd ~/ ~表示你的用户主目录cd / 加上斜杠表示进入到根目录cd - 返回进入此目录之前的目录cd ../ 返回上一级目录cd ../.. 返回上两级目录CUDA_VISIBLE_DEVICES = 1 main.pypip 使用清华源 pip install jeiba -i https://...
2019-04-08 16:48:04
144
原创 pytorch a.equal(b) 与a.eq(b)
a,b是两个列表a.equal(b)要求整个列表完全相同才是Truea.eq(b) 相同位置值相同则返回对应的True,返回的是一个列表
2019-03-19 17:18:19
4177
原创 print(a[0::2]) print(a[::2]) print(a[::-1])
这个是python的slice notation的特殊用法。a = [0,1,2,3,4,5,6,7,8,9]b = a[i:j] 表示复制a[i]到a[j-1]，以生成新的list对象b = a[1:3] 那么，b的内容是 [1,2]当i缺省时，默认为0，即 a[:3]相当于 a[0:3]当j缺省时，默认为len(alist), 即a[1:]相当于a[1:10]当i,j都缺省时，a...
2019-03-03 15:35:27
9952
3
原创 eye()以及取一个矩阵相应的某几个维度
import numpy as npeye=np.eye(5)print("eye:\n",eye)print("index:\n",eye[[1,0,2]])取一个矩阵的相应维度时，可用matic[[i,j,k]]，注意是两个中括号输出：eye: [[1. 0. 0. 0. 0.] [0. 1. 0. 0. 0.] [0. 0. 1. 0. 0.] [...
2019-03-02 16:44:33
555
原创 print(np.array([[1,2]*3]*2))
print(np.array([[1,2]*3]*2))[[1 2 1 2 1 2] [1 2 1 2 1 2]]
2019-02-27 10:16:27
1513
原创 6. Z 字形变换
将一个给定字符串根据给定的行数，以从上往下、从左到右进行 Z 字形排列。比如输入字符串为 "LEETCODEISHIRING" 行数为 3 时，排列如下：L C I RE T O E S I I GE D H N之后，你的输出需要从左往右逐行读取，产生出一个新的字符串，比如："LCIRETOESIIGEDHN"。请你实现这个将字符串进行指定行数变换的...
2019-02-25 17:36:18
125
原创 seq2seq中的beam search算法过程
首先说明在sequence2sequence模型中，beam search的方法只用在测试的情况，因为在训练过程中，每一个decoder的输出是有正确答案的，也就不需要beam search去加大输出的准确率。假设现在我们用机器翻译作为例子来说明。我们的任务是翻译中文“我是中国人”--->英文“I am Chinese”假设我们的词表大小只有三个单词就是I am Chinese。...
2019-02-22 23:13:25
885
原创 torch.multinomial()
weights=torch.Tensor([0,1,100,0])print(torch.multinomial(weights,2))输出：tensor([2, 1])对weights这个数组进行n次采样，采样的权重也是weights，所以2,1的概率比1,2的概率大很多，多试几次返回的是下标weights = torch.Tensor([0, 10, 3, 0]) # c...
2019-02-22 22:12:54
2632
1
原创 RuntimeError: An attempt has been made to start a new process before the current pr
pytorch 加载数据时报错：RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you ...
2019-02-22 20:20:35
410
原创 Python3对字典操作时遇到错误：dictionary changed size during iteration
大概是说字典在遍历时不能进行修改，建议转成列表或集合处理。a={'a':1, 'b':0, 'c':1, 'd':0}for key in a.keys(): del a[key] 解决办法：将遍历条件改为列表 a={'a':1, 'b':0, 'c':1, 'd':0}for key in list(a.keys()): del a[key] ...
2019-02-22 13:59:29
289
原创 python 字典修改键(key)的方法
注意：python中字典的键是不能直接修改，因为键是hash。间接修改键的key值方法第一种(推荐)：dict={'a':1, 'b':2} dict["c"] = dict.pop("a")第二种方法：dict={'a':1, 'b':2} dict.update({'c':dict.pop("a")})第三种方法：dict={'a':1, 'b':...
2019-02-22 13:56:27
3421
原创 RuntimeError: dimension specified as 0 but tensor has no dimensions
错误代码：print( torch.tensor(3.1416).size(0))解决方法：前面加一个[]扩起来就有size了print( torch.tensor([3.1416]).size(0)) 1
2019-02-19 17:04:18
4870
1
原创 pytorch nn.Conv2d()中的padding以及输出大小
conv1=nn.Conv2d(1,2,kernel_size=3,padding=1)conv2=nn.Conv2d(1,2,kernel_size=3)inputs=torch.Tensor([[[[1,2,3], [4,5,6], [7,8,9]]]])print("input size...
2019-02-19 15:24:53
10041
原创 小技巧：X[:, 1]与X[:,[1]]
X[:, 1]与X[:,[1]]的区别import numpy as npX = np.array([[0, 1], [2, 3], [4, 5], [6, 7], [8, 9], [10, 11], [12, 13], [14, 15], [16, 17], [18, 19]])print(X.shape)print(X[:, 1])print(X[:,[1]])输出：...
2019-02-18 21:39:33
247
原创 TypeError: 'float' object is not callable
报错语句：loss=loss(x_val,y_val)造成这个问题的原因是loss已经是一个函数，但是又被我定义为变量，所以导致了这个问题
2019-02-18 17:52:00
1383
原创 如何轻松愉快地理解条件随机场（CRF）？
理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的，可能写文章的人都是大牛，不屑于举例子吧。于是乎，我翻译了这篇文章。希望对其他伙伴有所帮助。原文在这里[http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/]想直接看英文的朋友可以直接点进去了。...
2019-01-28 16:52:30
155
原创 numpy 数组维度，形状，大小
import numpy as nparray = np.array([ [1, 2, 3], [4, 5, 6]])print(array)print('number of dim:',array.ndim)print('shape:', array.shape)print('size:', array.size)结果 [[1 2 3] [4 5 ...
2019-01-17 21:56:18
1388
原创 convert a list of tensor into a array 为了后续操作方便
import torchimport numpy as npt1=torch.tensor([1,2])t2=torch.tensor([3,4])t3=torch.tensor([5,6])list_test=[t1,t2,t3] #a list of tensorall_list=list_testtemp=[t.numpy() for t in all_list] # co...
2019-01-17 21:29:16
241
原创 VAE
Variational Autoencoders Explained06 AUGUST 2016转载http://kvfrans.com/variational-autoencoders-explained/In my previous post about generative adversarial networks, I went over a simple method to ...
2019-01-08 16:53:24
626
原创 pytorch 中的Variable
tensor是PyTorch中的完美组件，但是构建神经网络还远远不够，我们需要能够构建计算图的tensor，这就是Variable。Variable是对tensor的封装，操作和tensor是一样的，但是每个Variable都有三个属性，Variable中的tensor本身.data，对应tensor的梯度.grad以及这个Variable是通过说明方式得到的.grad_fn # 通...
2019-01-04 15:26:33
363
原创 seq2seq
以下为漫谈，即瞎聊，利用通俗的语言来谈谈神经网络模型中4种序列解码模型，主要是从整体概念和思路上进行通俗解释帮助理解。预警，以下可能为了偷懒就不贴公式了，一些细节也被略过了，感兴趣的可以直接去阅读原文[1][2][3]。[1] Sequence to Sequence Learning with Neural Networks[2] Learning Phrase Representatio...
2019-01-04 11:00:41
175
原创 似然函数
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。 似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。 概率 用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性 则是用于在已...
2018-12-31 14:56:42
1856
原创 pytorch 模型的保存和加载
# 保存和加载整个模型torch.save(model_object, 'model.pkl')model = torch.load('model.pkl')# 仅保存和加载模型参数(推荐使用)torch.save(model_object.state_dict(), 'params.pkl')model_object.load_state_dict(torch.load('par...
2018-12-27 15:10:25
376
原创 python进度条显示
for step,batch in enumerate(tqdm(train_dataloader,desc="Iteration")): XXXIteration: 100%|██████████| 4/4 [03:25<00:00, 46.83s/it]Epoch: 100%|██████████| 3/3 [09:33<00:00, 191.19s/it] ...
2018-12-26 15:17:16
842
原创 LSTM和GRU原理及pytorch代码，输入输出大小说明
这大概是我见到的最新清脱俗的LSTM公式了：#RNNrnn=nn.RNN(10,20,2) #(each_input_size, hidden_state, num_layers)input=torch.randn(5,3,10) # (seq_len, batch, input_size)h0=torch.ra...
2018-12-25 11:14:08
22659
3
原创 view方法
让我们举一些例子，从简到难。 view方法返回张量与self张量相同的数据(这意味着返回的张量具有相同数量的元素)，但具有不同的形状。例如： a = torch.arange(1, 17) # a's shape is (16,)a.view(4, 4) # output below 1 2 3 4 5 6 7 8 9 10 11 12...
2018-12-24 14:20:03
783
原创 拉格朗日乘子法
https://baike.baidu.com/item/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E5%AD%90%E6%B3%95
2018-12-24 10:35:11
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人