lei_qi的博客

原创 linux下将pip的下载站点设置为阿里源，速度超快！

pip config list 查看 pip 配置修改pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/pip config set install.trusted-host mirrors.aliyun.compip config list查看是否已经写入成功

原创 linux 下禁止用户登陆命令

usermod命令usermod -s /sbin/nologin {username}

原创 crontab误选了GNU nano，切换回vim编辑器

$select-editor选第三个就好

原创 PyTorch中的view的用法

PyTorch中的view的用法torch.view(a,b,…)，其中参数a=2,参数b=3决表示将一维的向量 重构成2*3维的张量。torch.view(-1)或者torch.view(a,-1).表示-1参数是需要计算机自己计算的。

原创 ReduceLROnPlateau pytorch动态修改学习率

ReduceLROnPlateau：这是常用的学习率策略之一。应用本策略时，当特定的度量指标，如训练损失、验证损失或准确率不再变化时，学习率就会改变。通用实践是将学习率的原始值降低为原来的1/2～1/10。ReduceLRInPlateau的实现如下所示。...

原创 深度学习网络最后一层的激活函数与损失函数的选择表

原创 在Pytorch中应用权重正则化

L1正则化： 权重系数的绝对值之和被添加到成本中。通常称为权重的L1范数。L2正则化 :所有权重系数的平方和被添加到成本中。通常称为权重的L2范数Pytorch 提供了一种使用L2正则化的简单方法，就是通过在优化器中启用weight_decay 参数：model = Architecturel(10,20,2)opotimizer = torch.optim.Adam(model.parameters(),lr=1e-4,weight_decay=1e-5)参考：Pytorch 深度学习.

原创 requires_grad, grad_fn , grad

requires_grad: 如果需要为张量计算梯度，则为True，否则为False。我们使用pytorch创建tensor时，可以指定requires_grad为True（默认为False），grad_fn： grad_fn用来记录变量是怎么来的，方便计算梯度，y = x*3,grad_fn记录了y由x计算的过程。grad：当执行完了backward()之后，通过x.grad查看x的梯度值...

原创 解决重装centos 7 之后无法连接网络

重装centos 7 之后是默认不连接网络的首先，使用 ip a 找到网卡的名称，我这里叫 em1然后cd /etc/sysconfig/network-scripts/ls 看到 ifcfg-em1 （注意这里要选择em1 相关的文件）vim ifcfg-em1修改如下分别输入自己的IP 掩码 网关。 DNS 可以不用变然后重启网络，就ok了systemctl restart network...

原创 ssh 免密码登录失败，设置后仍需输密码解决

设置用户权限chmod 700 /home/username设置.ssh文件夹权限chmod 700 ~/.ssh/设置~/.ssh/authorized_keys 文件权限chmod 600 ~/.ssh/authorized_keys请按照以上步骤严格执行即可

原创 Linux 添加新用户并指定根目录

1.添加用户test 并指定根目录为/local/test/useradd -d /local/test/ -m test2.设置密码passwd test

原创 如何查询CPU个数

如何查询CPU个数cat /proc/cpuinfo | grep "processor" |wc -l

原创 如何查询Linux默认网关

如何查询默认网关：10.152.255.1 就是em1 网卡的默认网关

原创 在救援模式配置

在救援模式启用SSH服务下面在救援模式启用SSH服务。首先进入/etc/ssh配置文件目录中。复制sshd_config.anaconda文件，并更改名称为sshd_config# cd /etc/ssh# cp -p sshd_config.anaconda sshd_config下面启动sshd服务：# systemctl start sshd...

转载 【转载】拉普拉斯矩阵（Laplacian matrix）及其变体详解

原创 Pytorh torch.topk() 函数的使用

介绍torch.topk(input, k, dim=None, largest=True, sorted=True, *, out=None) -> (Tensor, LongTensor)功能:返回给定输入张量在给定维度上的前k个最大元素如果没有给出dim，则选择输入的最后一个维度。如果’largest =False’ 则返回最小的k个元素函数返回：返回一个由(值、索引)组成的命名元组，其中索引是原始输入张量中元素的索引如果’sorted=True’则返回从大到小排序之后的元素，以

原创 【2021.04.05】成功解决OBS录屏黑屏问题

1.点击“设置”-“系统”-“显示”-“图形设置”-“浏览”2.然后点击“OBS程序”添加，3.在已经添加的OBS上选择“选项”-“节能”—END—

原创 colab ‘cd‘切换目录无效

3、切换当前文件夹Colab中使用pwd，ls等命令都没有问题，就是使用cd命令切换路径时没有任何变化（怀疑人生）import osos.chdir(“drive/…/…”)此处为google drive中的文件路径,drive为之前指定的工作根目录，当然，也可以用相对路径，与普通的cd一样。...

原创 *.tar.bz2 文件压缩与解压命令

tar cvfj BERT_Classify.tar.bz2 ./BERT_classify/

原创 限制或增加pytorch的线程个数！指定核数或者满核运行Pytorch！！！

一、限制pytorch 运行的线程数假如我有4个cpu ,但是只想让Pytorch在1个cpu上运行import oscpu_num = 1 # 这里设置成你想运行的CPU个数os.environ ['OMP_NUM_THREADS'] = str(cpu_num)os.environ ['OPENBLAS_NUM_THREADS'] = str(cpu_num)os.environ ['MKL_NUM_THREADS'] = str(cpu_num)os.environ ['VECLIB_

原创 解决安装fasttext 失败 ERROR: Command errored out with exit status 1:

安装 fasttextpip install fasttext报错信息：ERROR: Command errored out with exit status 1: /usr/bin/python -u -c ‘import sys, setuptools, tokenize; sys.argv[0] = ‘"’"’/tmp/pip-install-PeAgGS/fasttext/setup.py’"’"’; file=’"’"’/tmp/pip-install-PeAgGS/fasttext/se

原创 shuffle

sklearn里的shuffle  这个是目前我接触到最好用的shuffle，因为它既可以如2.1一样，打乱一个矩阵，也可以同时打乱两个变量组成的特征与标签，而且随机种子也集成了，总之就是省事。from sklearn.utils import shuffleX,Y = shuffle(X,Y, random_state=1337)...

原创 BertTokenizer

from transformers.tokenization_bert import BertTokenizertokenizer = BertTokenizer.from_pretrained("bert-base-uncased")print("词典大小:",tokenizer.vocab_size)text = "the game has gone!unaffable I have a new GPU!"tokens = tokenizer.tokenize(text)print("英

原创 Softmax Sigmoid 区别

Softmax =多类别分类问题=只有一个正确答案=互斥输出（例如手写数字，鸢尾花）Sigmoid =多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）下图显示了将前馈神经网络的原始输出值（蓝色）通过Sigmoid函数映射为概率（红色）的过程：Softmax函数重复上述过程：Sigmoid函数和Softmax函数得出不同结果。原因在于，Sigmoid函数会分别处理各个原始输出值，因此其结果相互独立，概率总和不一定为1，如图0.37 + 0.77 + 0.48 + 0.91 =

原创 NFM

NMF1.动机NMF是2017 提出的一个模型，传统的FM模型仅仅局限于线性表达和二阶交互，无法胜任生活中的复杂数据。作者提出了一种将FM融合进入DNN的策略，通过使用一个特征交叉池化层的结构，使得FM和DNN 进行了完美的衔接。组合了FM的建模低阶特征的交互能力和DNN的学习高阶特征交互和非线性的能力。那么这个是模型是如何做的呢？对比FM 发现变化的只有第三项这里改进的思路就是用一个表达能力更强的函数来替代原来的FM中的二阶隐向量的部分而这个表达能力更强的函数我们使用神经网络来进行替换，

原创 wide& deep

这里写自定义目录标题Task 2 Wide & Deep1.动机模型的结构和原理Task 2 Wide & Deep你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markd1.动机在CTR预估任务中，利用手工构造的交叉组合特征能够达到一个不错的效果但是有以下缺点：特征工程费时费力模型是强行记住这些组合的，无法进行泛化为了增加模型的泛化能力，添加了DNN，使用了Embedding，可以提高模型的泛化能力，但是这种方式因为数据的长尾的分布，

原创 Python 中 lambda 函数的用法

Python 中 lambda 函数的用法lambda is a minimal function definition that can be used inside an expression.匿名函数lambda：是指一类无需定义标识符（函数名）的函数或子程序。所谓匿名函数，通俗地说就是没有名字的函数，lambda函数没有名字，是一种简单的、在同一行中定义函数的方法。lambda 函数可以接收任意多个参数 (包括可选参数) 并且返回单个表达式的值。语法lambda arg1,arg2,arg

原创 Python map() 函数

Python 中map 函数的用法Python map() 函数简介语法参数实例Python map() 函数你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。简介map() 是python 中的一个高阶函数，它接受另一个函数作为参数，并且以某种方式应用该函数。语法map(function, iterable,…)参数function 函数iterable 一

原创 python 随机选择数字

使用random模块中的sample函数功能：random.sample(seq, k)实现从序列或集合seq中随机选取k个独立的的元素参数：seq：元组、列表或字符串k：选取元素个数实例：In [1]: import randomIn [2]: f = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]In [3]: fOut[3]: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]In [4]: random.sample(f, 5)Out[4]: [5

原创 VScode python多行注释快捷键

快捷键：Ctr + /

原创 split(） split(‘ ‘)区别

split()的时候，多个空格当成一个空格；split(’ ')的时候，多个空格都要分割，每个空格分割出来空。

原创 range()函数返回类型

In many ways the object returned by range() behaves as if it is a list, but in fact it isn’t. It is an object which returns the successive items of the desired sequence when you iterate over it, but it doesn’t really make the list, thus saving space.We sa

原创 jieba import 失败ModuleNotFoundError: No module named ‘jieba.analyse‘； ‘jieba‘ is not a package

这里写自定义目录标题jieba import 失败ModuleNotFoundError: No module named 'jieba.analyse'; 'jieba' is not a package改正方法：jieba import 失败ModuleNotFoundError: No module named ‘jieba.analyse’; ‘jieba’ is not a package这个问题不是环境的问题，是因为你的python 文件名为 jieba.py 然后直接导入这个py文件了。

原创 Python调用shell方法

Python调用shell方法Python调用shell指令使用os模块的system方法：os.system（cmd），其返回值是shell指令运行后返回的状态码，int类型，0表示shell指令成功执行，256表示未找到，该方法适用于shell命令不需要输出内容的场景。　例如：　1. 显示当前的目录import ostmp = os.system('pwd')print(tmp)...

原创 创建虚拟环境命令

python -m venv ./phenotagger

转载 将 GenBank ASN.1文件格式转换为XML文本格式

Converting GenBank ASN.1 data file to XML:Obtain GenBank ASN.1 data file at:ftp://ftp.ncbi.nlm.nih.gov/ncbi-asn1/. Heredaily-ncdirectory contains individual files for each day's new or updated entries since close-of-data for the last GenBank Release i...

原创 Ubuntu (linux) root账户无法使用xshell远程连接

问题： 使用Xshell访问ubuntu服务器，无法连接 xshell测试非root用户，可以正常连接，但是root用户仍旧无法访问 解决方法： 修改/etc/ssh/sshd_config文件把PermitRootLogin Prohibit-password添加#注释掉 新添加：PermitRootLogin yes 重启ssh服务/etc/init.d/ssh restart 参考：https://blog.csdn.net/qq_354453...

原创 解决keras padding之后 全部是0的问题

解决keras padding之后 全部是0的问题如上图，上边的没padding 之前是一系列的浮点数向量。然后图片下方是padding之后的，数字全部变成了0。这个问题困扰了我很久。后来去查看keras 的文档才知道问题出在了padding的数值类型那里了。上边高亮的部分说明了dtype 默认是int类型的，所以显示不了浮点数，把浮点数强制转化为整数了。因此我们只要改成下面这样就可以啦！dtype=‘float32’keras.preprocessing.sequence.pad_sequ

原创 RPS-BLAST 多线程操作

nohup rpsblast -query input.fasta -db /database/Cdd -evalue 0.01 -outfmt 5 -mt_mode 1 -num_threads 40 -out output.rpsout&注意使用-mt_mode 1把这里-mt_mode 设置为1之后，我们就可以使用多线程啦，不然直接使用-num_threads 是没用的这是接口是NCBI-blast-2.11.0 版本新加的哦.-num_threads 4.

原创 Rstudio Server 登陆失败，报Initializing RStudio错误

Rstudio Server 登陆失败，报Initializing RStudio错误前一天在Rstudio Server中跑了一个程序，第二天Rstudio Server却登陆不上了。测试了其他的账号可以正常登陆。下图是报错信息解决方法在终端输入以下命令rstudio-server status结果显示如下我们把和自己账户相关的进程全部kill掉即可例如本图里kill -9 184120kill -9 184122...之后就可以顺利进入Rstudio Server的登陆界