python
文章平均质量分 51
久许
朋友拍了拍我,说我可不是什么幺蛾子
展开
-
tf.concat
c0 = tf.constant([[1.,2.]] * 3 + [[0.,1.]] * 3)c1 = tf.constant([[1,2,3],[4,5,6]])c2 = tf.constant([[11,12,13],[14,15,16]])c3 = tf.concat([c1,c2],axis=0)c4 = tf.concat([c1,c2],axis=1)print(tf.__version__)print('------------c0---------')print(c0)pr原创 2021-05-10 21:49:11 · 148 阅读 · 0 评论 -
将vritualenv虚拟环境添加到jupyter当中
(ENVv) acat@acat-xx:paper_or_gcn$ ipython kernel install --user --name=pytorch_fast_transformerInstalled kernelspec pytorch_fast_transformer in /home/acat/.local/share/jupyter/kernels/pytorch_fast_transformer原创 2021-05-08 12:21:20 · 202 阅读 · 0 评论 -
pip install pytorch-fast-transformers失败
总结:首先使用nvcc -V查看cudatoolkit的版本:(ENVv) acat@acat-xx:paper_or_gcn$ nvcc -Vnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2019 NVIDIA CorporationBuilt on Wed_Oct_23_19:24:38_PDT_2019Cuda compilation tools, release 10.2, V10.2.89要确保安装的cuda原创 2021-05-08 11:06:47 · 2664 阅读 · 8 评论 -
pandas转换csv为json
如fi.csv文件内容是:a,b,chello,world,3good,morning,5则转换之后,csv文件内容是:[{"a":"hello","b":"world","c":3},{"a":"good","b":"morning","c":5}]import pandas as pddf = pd.read_csv('fi.csv')df.to_json('fd.json',orient='records')其中orient参数控制json文件的格式,不同的格式对应的js原创 2021-03-01 17:08:44 · 3263 阅读 · 0 评论 -
basic_rnn_seq2seq
import tensorflow as tfimport numpy as npsteps=2batch_size=4input_size=3encoder_inputs = tf.placeholder("float", [None, steps, input_size]) # (4,2,3)decoder_inputs = tf.placeholder("float", [None, steps, input_size])en_input=np.zeros(shape=[batch原创 2020-12-17 15:16:02 · 219 阅读 · 1 评论 -
tf.unstack用法
import tensorflow as tfa = tf.constant([[1,2,3],[4,5,6]])ar = tf.reshape(a,[2,1,3])with tf.Session() as sess: print(sess.run(a)) print('a<-------------------->ar') print(sess.run(ar))print('======================')aru = tf.unstack.原创 2020-12-16 22:39:34 · 298 阅读 · 1 评论 -
tf探索RNN模型结构
import tensorflow.compat.v1 as tftf.disable_v2_behavior()import numpy as npWARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/compat/v2_compat.py:96: disable_resource_variables (from tensorflow.python.ops.variable_scope) i原创 2020-11-05 19:49:16 · 261 阅读 · 0 评论 -
Neural Machine Translation by Jointly Learning to Align and Translate论文及代码助解
我们现在来实现Neural Machine Translation by Jointly Learning to Align and Translate中的模型。一、常规的编码器-解码器模型 作为提醒,下图是常规的编码器-解码器模型:二、先前的模型 在先前的模型中,我们的体系结构是通过在每个time-step显式地将context向量( 即z )传递给解码器(对应于上图中粉色的方块)。接着①context向量(z)②embbedded input word( 即d(yt) )(图中棕原创 2020-11-05 09:13:18 · 1454 阅读 · 0 评论 -
torch.nn.GRU的输入及输出示例
我们有时会看到GRU中输入的参数有时是一个,但是有时又有两个。这难免会让人们感到疑惑,那么这些参数到底是什么呢。一、输入到GRU的参数输入的参数有两个,分别是input和h_0。Inputs: input, h_0①input的shapeThe shape of input:(seq_len, batch, input_size) : tensor containing the feature of the input sequence. The input can also be a packe原创 2020-11-04 16:34:37 · 29182 阅读 · 17 评论 -
python中引入名称中带有横杠模块的时候出现:SyntaxError: invalid syntax
首先使用pip3 list查看pyhton中存在哪些模块通过上图可知,我们有模块de-core-news-sm然后,在python中import带有横杠的模块的时候,会报错:SyntaxError: invalid syntaxPython 3.6.9 (default, Oct 8 2020, 12:12:24) [GCC 8.4.0] on linuxType "help", "copyright", "credits" or "license" for more information.原创 2020-11-02 15:15:56 · 5786 阅读 · 5 评论 -
Attention is all you need源码
对于这篇论文的解析,可以参考:https://kexue.fm/archives/4765# code by Tae Hwan Jung(Jeff Jung) @graykode, Derek Miller @dmmiller612# Reference : https://github.com/jadore801120/attention-is-all-you-need-pytorch# https://github.com/JayParks/transformerimport原创 2020-11-02 09:02:27 · 544 阅读 · 0 评论 -
pytorch创建词向量
from collections import Counterimport torch.nn as nnimport torchsentences = 'i am new to PyTorch i am having fun'words = sentences.split(' ')print(words)[‘i’, ‘am’, ‘new’, ‘to’, ‘PyTorch’, ‘i’, ‘am’, ‘having’, ‘fun’]vocab = Counter(words) # list变为原创 2020-10-29 18:17:23 · 800 阅读 · 0 评论 -
torch.squeeze和torch.unsqueeze用法
一、torch.squeeze用法torch.squeeze可以对tensor的维度进行压缩。>>> d = torch.arange(6).view(1,2,1,3)>>> dtensor([[[[0, 1, 2]], [[3, 4, 5]]]])>>> d.shapetorch.Size([1, 2, 1, 3])不加参数直接调用torch.squeeze函数>>> d.squeeze()te原创 2020-10-29 09:45:37 · 2390 阅读 · 4 评论 -
Network Traffic Anomaly Detection Using Recurrent Neural Networks
Network Traffic Anomaly Detection Using Recurrent Neural Networksimport numpy as npimport pandas as pdimport reimport h5pyfrom sklearn.preprocessing import LabelEncoder, OneHotEncoderfrom sklearn.metrics import log_loss, auc, roc_curvefrom tensorf原创 2020-10-24 21:17:38 · 584 阅读 · 0 评论 -
Resource exhausted: OOM when allocating tensor with shape[50,50] and type float on /job:localhost/re
preds = model.predict_proba(X, batch_size=512)应该是gpu内存不够了。如果可以的话,可以调低batch_size。若仍然不行,那么可以通过减小处理的数据量来解决。因为显存的大小,决定了它的一个运行过程能够处理的数据量的大小。而设置不同的batch_size,可以加快或者降低处理的速度。...原创 2020-10-23 14:17:41 · 708 阅读 · 0 评论 -
CancelledError: [_Derived_]RecvAsync is cancelled.
CancelledError: [_Derived_]RecvAsync is cancelled.[[{{node Nadam/Nadam/update/ReadVariableOp_4/_187}}]][[gradient_tape/sequential/embedding/embedding_lookup/Reshape/_176]] [Op:__inference_train_function_19125]Function call stack:train_function...原创 2020-10-23 10:19:32 · 1700 阅读 · 1 评论 -
Unicode strings with encoding declaration are not supported. Please use bytes input or XML fragments
这里的xml_data是str类型的,报错的是:Unicode strings with encoding declaration are not supported. Please use bytes input or XML fragments。所以,我们首先需要把数据转换为字节类型,那么就需要进行编码(encode)xml_data = open(ii).read()root = etree.fromstring(xml_data, parser=parser)修改之后的代码:原创 2020-10-20 21:06:40 · 3112 阅读 · 6 评论 -
tf.gather和tf.softmax使用
tf.gather(Tensor, index)可以获取某个Tensor指定index的元素。tf.nn.softmax(Tensor)可以对某个Tensor进行处理。它不改变Tensor的结构,其效果类似于某种归一化。import tensorflow.compat.v1 as tftf.disable_v2_behavior()import numpy as npX_batch= np.array([ [[0,1,2],[9,8,7]], [[3,4,5],[0,0,原创 2020-10-19 16:32:51 · 301 阅读 · 0 评论 -
tf.run(feed_dict)
code1import tensorflow.compat.v1 as tftf.disable_v2_behavior()state = tf.Variable(0.0,dtype=tf.float32)one = tf.constant(3.0,dtype=tf.float32)print('----------type(state) type(one)--------------------------')print(type(state),type(one))pr原创 2020-10-17 12:44:18 · 463 阅读 · 1 评论 -
tf.argmax的使用
代码import tensorflow.compat.v1 as tftf.disable_v2_behavior()ton = tf.constant([[0,1],[0,1],[1,0],[1,0]])am = tf.argmax(ton,1)print(type(am))with tf.Session() as sess: print(sess.run(ma))可以看出,argmax把各个元素中最大的数字的下表打印出来了。因为tf.one_hot函数处理之后的数据也是对原创 2020-10-16 14:34:09 · 258 阅读 · 0 评论 -
tf.one_hot的使用
代码import tensorflow.compat.v1 as tftf.disable_v2_behavior()classes = 2labels = tf.constant([0,1,0,0,1,1,1,0,3,4]) # labels的类型是一个Tensoroutput = tf.one_hot(labels,classes) # output的类型也是一个Tensorprint(type(labels))print(type(output))with tf.Session()原创 2020-10-16 10:40:14 · 429 阅读 · 0 评论 -
Variable,Tensor,Numpy之间的相互转换
import tensorflow.compat.v1 as tftf.disable_v2_behavior()import numpy as npweight = tf.get_variable(name='weights',initializer=tf.random_normal([5,2], stddev=0.01))with tf.Session() as sess: sess.run(tf.global_variables_initializer()) print('-.原创 2020-10-15 22:53:51 · 2451 阅读 · 2 评论 -
vim中将python2中的print变为python3中的print()
假设原始文件内容如下图所示:那么我们的需求是变为print(...)的形式。:%s/print\ \(.*\)/print(\1)/g回车之后,发现文件的内容已经变为了我们想要的形式。原创 2020-09-25 10:51:09 · 198 阅读 · 0 评论 -
numpy处理Nan和inf
1.排序排好序之后,查看nan和inf值。cc = X_null_target['Flow Bytes/s']cc2 = cc.sort_values()cc2.to_csv('cc2.csv')2.判断Nan使用np.isnan(cc2)来生成一个Series可以看出,该Series中的值是True和False。3.判断infdd == np.inf...原创 2020-09-17 16:40:22 · 2065 阅读 · 0 评论 -
查看DataFrame中各个Column的名称和类型
当DataFrame中存在很多列的时候,为了便于分析,可以查看各个列对应的类型。首先可以使用print(data.dtypes)但是当列比较多的时候会存在省略的现象:为了让显示更加完整,进行适当的修改c = data.dtypesfor i in c.index: # 依次选取Series的各个key print(i,' ',c[i]) # 这里的c[i]的使用,在Series中可以使用Series[key]的形式取出对应的value这样的话,所有列的名称和类型就原创 2020-09-17 11:18:43 · 5308 阅读 · 6 评论 -
Python中把int型转换为Bytes类型
转换为啊Bytes类型之后,就可以使用pwn库中的send方法进行发送了。x.to_bytes(1,byteorder='little', signed=False)第一个参数,表示转换之后字节的个数从上图的输出也可以看出,使用的是小端序,低位优先。输出的时候都是默认从低地址向高地址进行的,所以低位存储在低地址,首先被输出,高位存储在高地址,最后被输出。第二个参数,表示大小端从上图可以看出,采用的是大端序。输出的时候都是默认从低地址向高地址进行的,所以高位存储在低地址,首先被输出,低位.原创 2020-08-23 14:51:46 · 18519 阅读 · 9 评论 -
matplot画轮廓图
# aaa2.py #!/usr/bin/env python3# -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dxlist = np.linspace(-1.0,1.0, 100)ylist = np.linspace(-1.0,1.0,100)X,Y = np.meshgrid(xlist, ylist)Z...原创 2020-07-09 11:02:21 · 878 阅读 · 0 评论 -
python五问小练习
Problem-1op的功能:对若干个整数进行求和,对若干个字符串进行拼接。op的执行分为两步。第一步:调用op函数,传入的参数是操作的名称和操作的参数的类型。返回一个操作实例。这一步只是获取_op的实例化对象,并不执行_op函数内部的逻辑代码。当然,也不会调用_type_checker函数,因为只有执行_op函数的时候才会调用并执行_type_checker函数。第二步:对第一步调用op...原创 2019-09-24 20:31:02 · 223 阅读 · 0 评论 -
使用wine安装python2.7
安装msi格式的软件,可以使用命令wine msiexec /i python-2.7.12.msi原创 2019-09-10 11:03:12 · 1044 阅读 · 0 评论 -
python之词云使用
需要安装jieba、matplotlib、numpy、PIL、wordcloud等库import requestsimport jsonimport osimport timeimport randomimport jiebaimport numpy as npfrom PIL import Imagefrom wordcloud import WordCloudimport ...原创 2019-08-20 21:27:55 · 545 阅读 · 0 评论 -
python code
import oswx_db_source_path = "/data/data/com.xingag.crack_wx/wx_data.csv"# 导出到本地os.popen('adb pull %s %s' % (wx_db_source_path, '/home/adog/文档/work_path'))def getDevicesAll(): #获取所有的设备列表...翻译 2019-08-20 07:36:57 · 671 阅读 · 0 评论 -
使用python安装pyUserInput模块
一、首先安装pyHook在网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/ 网页中搜索pyhook下载对应的版本。然后安装下载的whl文件:D:\用户目录\下载>pip install pyHook-1.5.1-cp37-cp37m-win32.whlProcessing d:\用户目录\下载\pyhook-1.5.1-c...原创 2019-08-02 10:30:27 · 2511 阅读 · 0 评论 -
使用pip安装pocoui
adog@E531:~$ pip3 install pocoui -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.comCollecting pocoui Downloading http://pypi.doubanio.com/packages/79/b7/0a097349da63681463f62680b01b9...原创 2019-08-04 21:00:19 · 3367 阅读 · 0 评论