Data _designer

如果第三方库通过pip instal *或者conda install *安装，那么直接更改’…/site_packages/…’中相应的.py文件将不起作用（Python: how to edit an installed package?），这是因为使用pip安装库时已经自动编译了python代码，所以更改原始文件并没有改动编译内容。此时可以将该项目源码从GitHub中clone下来，更改源码，然后使用python setup.py build和python setup.py install手动安装。

这主要是Windows自身设置Restrict模式。管理员身份打开PowerShell，然后执行set-executionpolicy remotesigned然后回答：Yes就行了。

多半需要dataloader是drop_last=True

ssh-keygen -t rsa -C 'email.com'# 下面一路回车，不然每次都要输入密码然后再重新设置github中的ssh key。对了，以前用http提交的已经不能用了，可以再git文件夹里修改config文件

Broken PiP ERROR：参考RuntimeError: unable to open shared memory object </torch_3212_4199725757> in read-write mode：参考

tensorboard --logdir_spec=h1:runs01/,h2:runs02/ --port=6006 --bind_alll

nn.DataParallel的作用是将模型和数据分配到各个GPU上，让其在各自的GPU上训练。1. 首先检查batchsize是否是GPU数量的整数倍2. 以及dataloader是否设置了drop_last是否是true,如果没有drop_last，那么最后一个batchsize剩下的数量可能不是GPU数量的整数倍，会出现此错。3. 如果以上情况都不是报错原因，还有一个原因可能是：对模型进行传参时，有可能传递了标量。(!我就是这个原因无法进行训练，因为我每一个batch的都需要一组标量进行划

mv比cp快的多，cp需要寻道多次

往往出现在windows使用git提交linux开发机的代码时git config --global core.autocrlf false

all the input arrays must have same number of dimensions, but the array at index 0 has 2 dimension(s) and the array at index 7 has 1 dimension(s) ('Lengths must match to compare', 'occurred at index trajs_1')出现以上两个错误多半是你的数据里含有空列表，可以考虑先替换为None或者0然..

死活搞不好，其实是换行符的问题，检查文件格式(大多是windows写好传到linux的问题)1.cat -A filename，如果输出结果中行末尾是^M$，则是dos格式，如果行末尾只是$，则是unix格式。2.vim filename，编辑文件，执行“:set ff”,若执行结果为fileformat=dos则为dos格式，若执行结果为fileformat=unix则为unix格式。3.od -t x1 filename，以16进制查看文件，若输出结果中存在“0d 0a”则为dos格式，如..

# 错误场景import pandas as pddict = {'a':1,'b':2,'c':3}data = pd.DataFrame(dict)import pandas as pd#方法一：直接在创建DataFrame时设置index即可dict = {'a':1,'b':2,'c':3}data = pd.DataFrame(dict,index=[0])print(data)#方法二：通过from_dict函数将value为标称变量的字典转换为DataFrame对.

ubuntu系统版本问题mkdir -p "$system"

https://www.cnblogs.com/xuxinkun/p/10531091.html

第一步第二步注意：红框框那里使用which python # 查看conda配置的python解释器路径

ssh-service是否安装不是输入ssh有返回就行的service ssh status如果返回unrecongnized service

输入数据是32*2，32个样本，2个类别特征，且类别特征的可能值是0到9之间（10个）。对这2个特征做one-hot的话，应该为32*20(multihot 编码)，embedding就是使1个特征原本应该one-hot的10维变为3维（手动设定，也可以是其它），因为有2个类别特征这样输出的结果就应该是32*6model = Sequential()model.add(Embedding(10, 3, input_length=2))#构造输入数据input_array = np.random.ra

y = f(x) 人话就是y为scalar的时候可以对张量x求导，但是当y计算出来也是个标量的时候会报错import numpy as np import torch # f(x) = a*x**2 + b*x + cx = torch.tensor([[0.0,0.0],[1.0,2.0]],requires_grad = True) # x需要被求导a = torch.tensor(1.0)b = torch.tensor(-2.0)c = torch.tensor(1.0)

#torch.from_numpy函数从numpy数组得到Tensorarr = np.zeros(3)tensor = torch.from_numpy(arr)print("before add 1:")print(arr)print(tensor)print("\nafter add 1:")np.add(arr,1, out = arr) #给 arr增加1，tensor也随之改变print(arr)print(tensor)# 可以用clone() 方法拷贝张量，中断.

zhen

今天给git搞得心态爆炸真的，不行就换个新文件夹重新搞吧，不然太乱了。git clone ssh # 下载# 直接删除掉想替换的部分git rm XXX# 新增想加入的东西git add# 然后重新提交git commitgit push -u origin master...

别想了，多半是你传值的地方传了个列表，如下i = [0,1,2,3]item[i] = 1

建好工程以后想从benchmark中导入settings中的包，死活就是导不进去，应该是source package的设置问题，留在这等解答。

ds_ends = get_date_lista(begin_date='2020-11-01',end_date='2020-11-31') 一直在报错！后面发现11月没有31号，所以一直无法转换！

在Main函数书写列表，即可以在train函数中直接进行调用，而创建Tensor却不行！(本意想的是train中借用main函数中定义的全局Tensor进行concat)有一个好的做法就是Main中创建为列表，然后在train函数中对列表进行extend。...

CrossEntropy使用的Label中存在-1！！！！

不要试图把你的类分为-1，0，1三种，切记！

今天服务器开发的时候报错，需要把pth的保存路径换成绝对路径，不然upload上服务器会报错！

重新安装pip：pip upgrade重新安装cuda：conda install -c anaconda cudatoolkit=10.1

网上看了一圈，说什么调整batchsize啥的，设置多卡啥的，根本不起作用，建议使用torch1.2查一下你是不是to(device)漏了，比如我在transformer Encoder时候忘记把Position编码的参数to(device)了，再torch1.2中就会直接报错，而在torch1.6的版本就会出现上述的错误，死活搞不定！所以可以有个torch1.2的版本搞定了model，再使用torch1.6重新运行，这样不但能使用tensorboard（torch1.2的board不能显示图形），奇怪的错

set hive.resultset.use.unique.column.names=false;在Hue和Hive Cli中均可以调用该命令，注意Hue中需要从Impala窗口切换到Hive窗口。别问为啥查询比Impala慢，就是慢！！！

1. 在model中万万不能出现下面这个语句for i in range(3): model = Net() lis.append(Net())return lis这样Torch会报错！！！血的教训解决办法：第一：nn.ModuleList第二，老老实实一个个model的写2. 不要用Pytorch1.2的tensorboard，就是不显示，别问为什么。3.RuntimeError: one of the variables needed for gradi.

报错：NotFoundError: Could not find valid device for node.Node:{{node Softmax}}All kernels registered for op Softmax :解决办法：使用numpy，将激活函数的输入改成float 64，运行正常，同理，使用其他激活函数，例如relu,softmax, tanh,selu,sigmoid等激活函数，都应该保证输入是float。...

winver查看当前windows版本及其内核-更新后截图如下真的，直接使用安装包进行下载，不要去一个劲的按检查更新了！！！

这个错误是在做数学建模比赛中遇到的一个pandas数据处理的任务。简单理解就是你使用一个数和多个值或一个列表中的值相比较、匹配。解决示例代码如下：a = tempData[colName[i]].values.tolist()[0]b = target_data133[colName[i]].values.tolist()[0]简单来说就是你把它提取出来转化为列表进行操作即可。...

本质原因应该是GPU内存不够。解决办法如下1. 设置GPU自增长# 设置gpu内存自增长，注意加在import之后，不然会报如下错误# RuntimeError: Physical devices cannot be modified after being initializedgpus = tf.config.experimental.list_physical_devices('GPU')print(gpus)for gpu in gpus: tf.config.experi

直接到官网下载，放到Keras文件夹下面一般的默认路径如下：C:\Users\Administrator\.keras\datasets下载地址，下载完直接保存到上面的默认路径即可：https://s3.amazonaws.com/text-datasets/imdb.npz

由于Tensorflow版本不一致的问题导致Estimator有很多坑！！！问题代码如下# 预定义estimator使用output_dir = 'baseline_model'if not os.path.exists(output_dir): os.mkdir(output_dir)# tensorflow版本有问题，需要改！！！baseline_estimator = tf.estimator.BaselineClassifier(model_dir=output_dir,