学习NLP的小白

原创 glove使用以及词表文件详解——小白必看，通俗易懂

关于glove词向量的使用，以及字或者词与词向量的具体对应如何实现第一 glove是用来生成词向量的 ，在网上下载之后，会有一个txt格式的文件。截图如下：

原创 linux创建python虚拟环境

大家打开xshell,界面如下：第一步 先安装virtualenv。如何安装呢？大家先看好pip的版本有的还是不一样的，可以更新一下pip。使用下面的一行命令便可以安装virtualenv。pip install virtualenv第二步 利用如下命令来进行虚拟环境的创建。virtualenv --no-site-packages 虚拟环境的名字。(备注 这个名字随便写 都是无所谓的) 实例代码如下：virtualenv --no-site-pac...

原创 np实现softmax

import numpy as npdef softmax(x): x_row_max = x.max(axis=-1) x_row_max = x_row_max.reshape(list(x.shape)[:-1] + [1]) x = x - x_row_max x_exp = np.exp(x) x_exp_row_sum = x_exp.sum(axis=-1).reshape(list(x.shape)[:-1] + [1]) softma.

原创 关于batchsize,重中之重 这个教程很关键

https://blog.csdn.net/alwaysyxl/article/details/83050137

原创 关于glove词向量

原创 python关于矩阵的乘法 和点乘

在python里面 矩阵的乘法采用 np.dot（X1,X2）或者np.matmul(X1,X2)而矩阵的点乘 采用np.multiply(X1,X2)import numpy as npinput_all = np.array([[1, 0, 1, 0], [0, 2, 0, 2], [1, 1, 1, 1]])print(input_all)w_k = np.array([[0, 0, 1], [1, 1, 0], [0, 1, 0], [1, 1, 0]])print(w_k)..

原创 关于python导入自定义包的详细解释小白必看

工程项目的目录结构如下：self_attention文件的内容如下：import numpy as npfrom testAAA.my_softmax import *from testBBB.myPrint import *my_print()print("*"*30)# from My_softmax import self_softmax# from .My_softmax import self_softmaxinput_all = np.array([[1, .

原创 如何将乱码的CSV转换成正常字符文件

第一，首先我们可以新建一个XLSX文件。鼠标放在第一行第一列的位置第二，我们打开WPS或者word里面的数据选项我们接着点击导入数据第三：如下图所示：我们可以选择数据源第四：选择你打开乱码的那个csv文件接下来就会看到如下界面：因为csv是逗号分隔符文件 所以我们选择逗号，然后就可以完成转换，正常看到原始csv文件。...

原创 关于torch下载的方法 官网 和 非官网

https://blog.csdn.net/like_study_cat/article/details/108120409快速下载torch 和 torchvision的网站 。我们可以选择低版本的torch 比如1.2https://download.pytorch.org/whl/torch_stable.html

原创 关于pickle解码

首先 写出StrToBytes类然后注意 在pickle.load（）函数这里 加入编码格式，一开始的open函数 可以先不写编码格式。便可以正常打开class StrToBytes: def __init__(self, fileobj): self.fileobj = fileobj def read(self, size): return self.fileobj.read(size).encode() def readli...

原创 快速下载python和相关包国内源

可以 快速下载Python 。http://npm.taobao.org/mirrors/python/可以快速下载相关Pip包pip install numpy==1.16.0 -i https://pypi.tuna.tsinghua.edu.cn/simplepip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple上面两种搞法就是指定包的版本和不指定包的版本 下面也可以使用 。在写这个博客的晚上 -i...

转载 tensorflow的常用函数

https://blog.csdn.net/mao_xiao_feng/article/details/53366163

转载 numpy 和 tf.tensor torch.tensor转换

https://eveture.blog.csdn.net/article/details/108212776 和torch转换https://blog.csdn.net/qq_41603193/article/details/106305285 和tf.tensor转换

原创 通过mysql文件安装mysql

首先下载mysql安装文件，然后进行解压第二， 根据下面中文提示 修改mysql的安装目录，数据存放目录，其余的可以不变。[mysql]# 设置mysql客户端默认字符集default-character-set=utf8 [mysqld]#设置3306端口port = 3306 # 设置mysql的安装目录basedir=E:\\MySQL\\mysql-5.7.29-winx64\\mysql-5.7.29-winx64# 设置mysql数据库的数据的存放目录..

原创 关于git的下载安装和使用 小白必看

第一步 直接进入Git官网https://git-scm.com然后会出现如下图的界面 浏览器会自动识别电脑系统，并显示最新的的git可执行文件，大家点击下载即可关于安装大家可以参考这个链接，非常棒。https://www.cnblogs.com/xueweisuoyong/p/11914045.html （假如不想看的话，直接按照我下面操作来就行）所有的安装过程都可以直接点击next，便可以顺利完成。（个人建议，在出现安装位置的选择时候，大家可以在随意一个盘（除了C盘系统...

翻译 2020-12-15

大家可以参考一下这个文档 博主写的很好https://blog.csdn.net/john_bh/article/details/107731443关于pytorch固定随机数的种子torch.manual_seed(seed) # 为CPU设置随机种子torch.cuda.manual_seed(seed) # 为当前GPU设置随机种子torch.cuda.manual_seed_all(seed) # if you are using multi-GPU，为所有GPU设置随机种子..

原创 安装 aconda 后ubuntu系统终端界面前部出现（base)

1.打开一个终端 ，输入命令：gedit ～/.bashrc2.在 .bashrc文件最后面添加命令：conda deactivate再重新打开终端即可消除base字样若在终端中输入conda deactivate，也可消除base字样，但是一次性的，再次打开终端依然存在base字样。在.bashrc文件添加命令：conda deactivate可以永久消除base字样。安装anaconda以后突然间发现了一个问题，那就是Linux终端变样了，无端的在终端前部分出现了（base）字样，如.

原创 关于linux下 anaconda3安装教程 小白必看

首先下载anaconda ，看自己需要安装什么版本 然后去官网下载对应版本。 官网最靠谱 ，直接把下载网址给大家。anaconda官网下载网址也可以安装下面的网址自己进入下载 都可以达到目的anaconda官网最终大家进入到这个页面就算是找到目的地了 进行自己版本的选择。第二 将下载的linux anaconda .sh文件的文件放入到自己服务器上。大家可以在自己的电脑上安装WinSCP，这个可以方便的在Windows和linux上面传...

原创 bert生成字/词向量以及模型加载的细节

这是利用bert生成字向量的完整代码import torchimport numpy as npfrom pytorch_pretrained_bert import BertTokenizer, BertModel, BertForMaskedLM# Load pre-trained model tokenizer (vocabulary)# tokenizer = BertTokenizer.from_pretrained('F:\\Code\\Bert-Pre-Pytorch\\be.

原创 2020-12-04

https://www.cnblogs.com/wangzb96/p/bert_model.html 直接点击网页进入查看详细内容 别人总结的超级到位 太感谢了。

原创 pytorch版本的词向量下载以及简单使用

这是bert预训练模型的下载 PRETRAINED_MODEL_ARCHIVE_MAP1 PRETRAINED_MODEL_ARCHIVE_MAP = {2 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz",3 'bert-large-uncased': "https://s3.amazonaws.com/mod..

原创 利用Anaconda更新python版本

关于利用Anaconda更新python版本 目前按照如下操作只能更新到python3.6.2，不过这个已经够用了。首先 输入 命令anaconda search -t conda XXX 这个XXX代表你想要的安装的东西，比如现在要安装Pythonanaconda search -t conda python根据显示的版本号来进行查询 对应的名字是什么anaconda show tboyer/pythontboyer/python 这个就是自己查询出来的通...