Lisen’s blog

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

我现在遇到一个问题，我在linux上装了2个环境，分别为pax和max，然后我在max上启动jupyter notebook，但是呢，我发现访问的orbax包还是pax上的版本。确保在启动 Jupyter Notebook 时，使用的 Python 环境是你在 max 环境中安装的 Python。在 max 环境中安装 Jupyter Notebook 的内核，然后在启动的 Notebook 中选择对应的内核。你可以在激活 max 环境后，直接使用该环境的 Jupyter Notebook。

极端混乱度，熵值最大。最大值为log_2(dim)，实例的dim为4，索引log_2(4) = 2。极端混乱度，熵值最小，最小值跟矩阵的维度无关，基本都为0。增加混乱度，熵值减小。

【代码】将tmux窗口中的内容导出至文件中。

vim多行缩进调整

内存映像文件是一种将磁盘上的非常大的二进制数据文件当做内存中的数组进行处理的方式。NumPy实现了一个类似于ndarray的memmap对象，它允许将大文件分成小段进行读写，而不是一次性将整个数组读入内存。memmap也拥有跟普通数组一样的方法，因此，基本上只要是能用于ndarray的算法就也能用于memmap。使用此子类的另一种方法是自己创建mmap 对象，然后直接使用ndarray .__ new__创建一个ndarray，传递在其’buffer ='参数中创建的对象。磁盘上的文件是只读的。

在终端中输入“jupyter notebook --generate-config”，会生成一个新的py文件用于config，可以看到输入命令以后会有一个路径指示新生成的py文件，我们根据这个路径找到这个文件。对于这种情况，只需要打开另一个终端（cmd），然后按照图中的输入“jupyter notebook list” ，然后就会看到所需要的token，使用token替代密码登录进去即可。这种情况需要换一个命令，同样开启一个新的终端，并输入“jupyter notebook password”来修改密码。

本地新增远程分支

ZeRO算法将显存优化到底

1、在github创建新项目假设地址为：git@github.com:zhangsan/AI.git2、初始化本地仓库并和远程仓库进行关联在本地需要上传的文件夹下执行git config --global init.defaultBranch mastergit initgit remote add origin git@github.com:zhangsan/AI.git3、提交本地文件至远程ps: 这里需要注意，如果在1创建项目时，建了readme或者.gitignore文件，那么需要

1、基于已有分支在本地创建新分支git checkout -b yourbranchname origin/oldbranchname2、将新分支推送至远程仓库git push origin yourbranchname

先看一些例子：论文相关细节实体提取方法：采用《Ratinov and Roth, 2009; Nadeau and Sekine, 2007》提取。关系检索方法：提取之后进行关系检索，因为简单，所以关系三元组的检索采用关键词检索。实体打分采用tf-idf 。Top-K分数的实体被用来检索关系。这里的实体都是从看到的文本中提取的。但是训练的时候是提前提取好的，然后检索。评测的时候，采用Dynamic OpenIE（关系不光是从之前看到的文章里面提取，也可以从训练集提取，没跑一个batch检索

Openreview：三位评委得分分别为6, 8, 10，单项满分8分：方法独特，对语言模型有很大的改进，取得sofa。但有些实验做的不够，比如选择的token数量；10分：非常好，ppl显著降低，利用外部知识促进语言模型，方法独特；6分：只比较WikiText-103数据，其他两个数据集没比较，实验很多细节没有公布，复现性差。先看个例子：GNN构造:首先对训练集所有token的隐层向量进行缓存节点：2种类型节点，当前上下文的token和从外部检索得到的token边：2种类型