- 博客(56)
- 收藏
- 关注
RSS订阅原创 torch.ones().cuda() vs. torch.ones_like() CPU利用率
ones().cuda()会消耗大量的cpu （2000 CPU%），而直接ones_like能节省至 200。
2023-08-18 20:28:52
253
原创 Gdown Access denied：Cannot retrieve the public link of the file.
Gdown报错解决
2022-07-24 17:27:14
2961
1
原创 Zotero篇--删除重复文件（三）
这个比较简单，情况如下：为了保证合并后，只保留一个对应的文件（可以理解为，多个文献库共享一个文件的索引），我们只需要将多余的item中的附件都删除掉然后再合并即可：
2021-08-22 22:24:39
8569
原创 Zotero篇--解决Zotfile插件Rename失败（二）
安装好Zotero后，我们尝试添加文献，以pdf为例参考篇一：Zotero篇–如何使用cloud同步（一）问题描述将pdf拖拽到我们自己建立的文献库后，如下图，文献是实体的图标，还没有建立quick link （还没有用Zotfile rename）这个时候，我们进行rename，却发现右下角的图标一直是透明的（rename失败）；ps. 如果rename成功，会是黑色不透明。解决问题总结一下，我试了三种方法...
2021-08-22 22:18:09
7042
2
原创 Zotero篇--如何使用cloud同步（一）
准备云盘onedrive, 坚果云, 其他云盘应该都可以，只需要具有实时更新同步的功能即可注意云盘的大小，下面的文献以onedrive举例，其他云盘均类似 （具体教学可以看下面的参考文献，非常详细）Tips同步最好还是选则用quick link的方式。也就是说，Zotero的主文件夹最好还是不要放在云盘里面进行同步，虽然这种方式非常好理解和实现。这是因为只同步pdf等附件可以减轻云盘更新的压力。如下图：建议红色区域不要放到云盘里去插件：Zotfile必装，其他quicklook等可以随意，
2021-08-22 22:02:10
4538
原创 warnings.warn(incorrect_binary_warn % (d, name, 9000, CUDA_VERSION))
refer to this link直接用 pip install torch==0.3.1 安装的是 cuda8.0 的，使用如下命令：pip install http://download.pytorch.org/whl/cu90/torch-0.3.1-cp35-cp35m-linux_x86_64.whl安裝前，記得先卸載原先已安裝的torch，再進行安裝。cp35-cp35m，中的35指的是python版本。我用的3.6 python，所以改為cp36-cp36m...
2021-05-05 16:45:22
589
原创 Github--NeuralEDUSeg代码依赖安装，以及运行报错的解决
源地址：https://github.com/PKU-TANGENT/NeuralEDUSegRepository上给的依赖安装不太对，会有conflicts，所以安装依赖有点坑记录一下整个流程（仅需要用pip和conda，不然太麻烦了）安装步骤需要安装torch-0.3，conda和pip都找不到official source。所以上官网下，下载链接，注意对应的系统和python版本即可，我的是python3.6和linux，所以下载torch-0.3.1-cp36-cp36m-manylinu
2021-05-05 16:13:51
279
1
原创 anaconda-默认channels修改
刚装完anaconda必须要改一下默认的channel，不然很多库都装不上。—使用conda-forage即可，forage相对于default channel有很好的社区支持，具体原因可参考文章修改channelvim ~/.condarc将condarc定义为如下：channels: - conda-forgeshow_channel_urls: true...
2021-04-29 20:40:26
5321
原创 Pytorch-RNN关于pack_padded_sequence之enforce_sorted详解
先说需求：input为一个batch，这个batch里由N个segment组成，这个segment的序列十分重要，不能打乱。因此，我不能把这个batch按照segment的长度，来从大到小进行排序但是我需要用LSTM来处理这个batch里面的每个segment而且我还需要保证，LSTM处理之后，这个batch还是保持原来的segment序列解决方法：调用pack_padded_sequence来处理input，并且传入参数enforce_sorted=False给出代码（一层的LSTM只需要
2021-04-25 17:54:19
1842
3
原创 Pytorch-RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment
刚装好GPU版本的Pytorch报了这个错，仔细核对了一下Pytorch的版本和我的cuda版本，是一致的。nvidia-smi运行没有问题错误如下：RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the availabl
2021-04-25 17:07:26
5746
5
原创 nn.utils.rnn.pack_padded_sequence: RuntimeError: ‘lengths‘ argument should be a 1D CPU int64 tensor
解决方法：对tensor调用.cpu()即可packed = rnn.pack_padded_sequence(x, x_len.cpu(), batch_first=True)原因：
2021-04-25 17:00:32
785
转载 删除.git文件夹（报错rm: remove write-protected regular file）
报错：rm: remove write-protected regular file 'PyTorch_TextGCN/.git/objects/9f/98f6f88ae8715818e7305bc3aa7d6a97f8a9cf'?rm: cannot remove 'PyTorch_TextGCN/.git/objects/9f': Directory not emptyrm: remove write-protected regular file 'PyTorch_TextGCN/.git/obj
2021-04-03 22:24:26
13960
1
原创 sklearn--CountVectorizer提取的词频矩阵的表示
词频矩阵如上图，矩阵的shape为[4, 9]，行数为document的数目，列数为vocabulary的大小。其中矩阵元素a[i][j] 表示j词在i类文本下的词频参考文献http://www.bubuko.com/infodetail-615761.htmlhttps://www.jianshu.com/p/c7e2771eccaa?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm
2021-04-03 17:48:21
1629
转载 sklearn--CountVectorizer中的min_df和max_df
max_df用于删除过于频繁出现的术语,也称为“语料库特定的停用词”.例如：max_df = 0.50表示“忽略出现在50％以上文档中的术语”.max_df = 25表示“忽略超过25个文档中出现的术语”.默认的max_df是1.0,这意味着“忽略出现在100％以上文档中的术语”.因此,默认设置不会忽略任何术语.min_df用于删除不经常出现的术语.例如：min_df = 0.01表示“忽略出现在少于1％的文档中的术语”.min_df = 5表示“忽略少于5个文档中出现的术语”.默认m
2021-04-03 17:42:44
2813
原创 查看目录下文件个数（Linux指令与python代码）
文章目录Linux下命令行Python下代码Linux下命令行参考自- https://blog.csdn.net/caideb/article/details/81204097统计某文件夹下文件的个数ls -l |grep "^-"|wc -l统计文件夹下文件的个数，包括子文件夹里的ls -lR|grep "^-"|wc -lPython下代码from os import pathdef load_files_from_path(folder, files=[]):
2021-03-30 15:15:25
442
原创 安装requirements.txt文件的两种方式（pip与conda）
PIPpip install -r requirements.txtCONDAwhile read requirement; do conda install --yes $requirement; done < requirements.txtor# Install via `conda` directly.# This will fail to install all# dependencies. If one fails,# all dependencies will
2021-03-19 17:58:36
63703
4
原创 Jupyter-Notebook 远程服务器配置（SSH方案）
网上配置远程notebook的方案很多，但是似乎好多都是直接访问remote server的端口不过，有趣的是，我发现我直接ping不通我的remote server，只能采用ssh来传输的方案文章目录Install Jupyter NotebookGenerate the PassWD开启远程服务器上的Jupyter Notebook本地ssh连接本地浏览器访问参考文献Install Jupyter Notebookconda install -c conda-forge notebookGe
2021-03-18 23:12:10
1132
原创 Recap Language Model (LM) -- 自然语言处理中的预训练，对于Bert、ELMO、GPT的一些思考
文章目录相关文章思考为什么ELMO可以解决一词多义？GPT引入网络层来fine-tune的方式真的更好吗？为什么GPT的Multi-task learning好呢？如何理解Bert的Mask方式（Masked LM）？以前看过Bert的相关文献后，一段时间后老是忘了，所以写这篇文章是为了整理一下自己的一些思考，和记录一下讲的很好的文章这里的问题大多属于自己的见解，有问题的地方还请谅解和指出：）相关文章（感觉看这三篇就够了）从 Word Embedding 到 Bert 模型 — 自然语言处理中的
2021-03-10 22:28:24
471
1
原创 Pytorch--检查是否正常运行(Code)
Code (refer to this link)import torchflag = torch.cuda.is_available() # check if the gpu is avaliableprint(flag)ngpu= 1# Decide which device we want to run ondevice = torch.device(“cuda:0” if (torch.cuda.is_available() and ngpu > 0) else “cpu”)p
2021-03-05 22:46:54
693
原创 Git--分支合并操作git pull --rebase
当在Github远程库和本地库上存在节点不一致的情况：比如origin上的repository刚刚建好，初始了README文件；而本地的repository上也刚刚初始化好，并新建了文件。这样仓库里面的 README 文件不在本地仓库目录中，可是我们想要将本地的修改也上传到远程库上，该怎么做呢？ –rabasegit pull --rebase origin masterrebase的原理可参考这篇链接，讲解的非常清楚。...
2021-03-05 20:34:23
650
原创 Git创建库--与远程库同步（出现两个branch的解决方案）
目录出现问题解决方法Tips出现问题在本地运行git init后，对本地进行commit，然后上传到romote project上，结果出现了两个branches( master与main)仔细一看，原来是repository创建的时候，我的默认创建的分支名字为main；而在本地创建的分支却默认为 master. 两个不同的名字，导致最后push到repository上后，不能merge两个branch，所以最终出现这样的情况。解决方法在github上账户settings里修改默认分支的名字为ma
2021-03-05 20:08:44
568
原创 Pytorch--判断model是否在训练模式下
module的内部包含一个training的属性（bool类型），调用training即可。if net.training xxxelse: yyy多说一句：一般我们调用net.eval() 或者net.train()都会对这个training属性进行改写。
2020-12-07 19:20:33
5026
原创 h5py--OSError: Unable to open file (file is already open for write / unable to lock file) 解决方案
文章目录报错情况和解决方法Error1Error2报错情况和解决方法Error1Traceback (most recent call last): File "main.py", line 119, in <module> train_loader = data.get_loader('train') File "/home/liuyibing/vqa/bottom-up-attention-vqa/utilities/dataset.py", line 72, in g
2020-12-07 19:15:11
7533
1
原创 pytorch--BoolTensor进行逻辑运算操作
since pytorch 1.2, there is a dtype torch.bool and associated BoolTensor. The bitwise operators aka numpy (and &, or |, xor ^ and not ~) all work on these as logical operations.BoolTensor在pytor...
2020-04-29 22:10:23
20930
1
原创 h5py使用的一些操作
目录参考资料读写模式的区别一些操作参考资料https://stackoverflow.com/questions/31861724/deleting-hdf5-dataset-using-h5pyhttp://www.itkeyword.com/doc/6425292363646981620/deleting-hdf5-dataset-using-h5py读写模式的区别mode 为...
2020-04-29 10:01:28
1240
原创 spacy下载en_core_web_lg, en_core_web_sm等，出现ConnectionError下载失败的情况的解决方法
文章目录报错信息原因及解决方法参考文献报错信息raceback (most recent call last): File "/home/share/liuyibing/Anaconda3/envs/py3_torch_v1.4/lib/python3.7/site-packages/urllib3/connectionpool.py", line 672, in urlopen ...
2020-04-28 15:23:40
5392
1
原创 spacy在load模型时出现KeyError: 'PUNCTSIDE_FIN'的情况的解法方法
文章目录报错情况原因及解决方法参考文献报错情况Python 3.7.6 (default, Jan 8 2020, 19:59:22)[GCC 7.3.0] :: Anaconda, Inc. on linuxType "help", "copyright", "credits" or "license" for more information.>>> import...
2020-04-28 15:22:46
1204
原创 spacy en_core_web_sm/md/lg三种model有什么区别
区别sm/md/lg为描述大小的缩写：small（小）、medium（中）、large（大）也就是说en_core_web_sm、en_core_web_md、en_core_web_lg分别对应三种不同大小的nlp模型如果为了更精确的结果，用en_core_web_lg会比较好。不过 一般情况下，采用en_core_web_sm即可（default）参考文献https://stac...
2020-04-28 14:58:51
5478
转载 English写作-如何运用such as、for example、etc.、i.e.
文章目录”例如” 与 ”等等” 区别：具体用法例子英语写作里会遇到需要列举的时候，常用的方式和使用的表达有such as，for example，etc.等等。在这里，我想介绍的是如何正确使用这些表达。”例如” 与 ”等等” 区别：出现such as或for example，后不能接etc、and so on之类的短语such as…和for example…都表示“例如”的意思，即提示下...
2020-04-04 11:55:52
2158
原创 pytorch--切断梯度的方法
文章目录方法验证data属性 与 detach()函数clone()函数验证参考资料方法调用tensor的data属性调用tensor的detach()函数调用clone()可行吗？不可行验证先写结论：.data 和.detach只取出本体tensor数据，舍弃了grad，grad_fn等额外反向图计算过程需保存的额外信息。但是.data所创建的tensor与原tensor的内存是...
2020-03-23 17:07:10
3808
原创 Spearman’s correlation coefficient--斯皮尔曼相关系数pytorch与numpy实现
文章目录Spearman’s correlation介绍Pytorch实现Numpy实现Spearman’s correlation介绍斯皮尔曼等级相关（Spearman’s correlation coefficient for ranked data）主要用于解决名称数据和顺序数据相关的问题。适用于两列变量，而且具有等级变量性质具有线性关系的资料。由英国心理学家、统计学家斯皮尔曼根据积差...
2020-03-23 14:18:42
4210
原创 js-divergence的pytorch实现
文章目录参考文档JSD实现代码一些注意事项参考文档pytorch 中的 kl_div 函数关于logsoftmax与softmax的区别KL散度、JS散度、Wasserstein距离–原理JSD实现代码若有纰漏，敬请指出，感谢！def js_div(p_logits, q_logits, get_softmax=True): """ Function that m...
2020-03-20 20:47:54
8045
9
原创 English-失去爆破与不完全爆破读法与练习
文章目录爆破音 + 爆破音爆破音 + 摩擦音或破擦音爆破音 + 鼻辅音或舌边音爆破音：/p b t d k g/爆破音 + 爆破音（爆破音：/p, b, t, d, k, g/）当一个爆破音后面紧跟着另一个爆破音时，前面的爆破音不发生爆破。方法是：对于前一个爆破音，只作发音的姿势，刚要发出时，立即发出第二个爆破音。这种现象叫做失去爆破。例如/p, b, t, d, k, g/这样...
2020-03-08 15:58:50
5178
1
原创 Pyorch-CUDA error: device-side assert triggered, THCTensorScatterGather, Assertion indexValue failed
文章目录ScatterGather的index溢出报错？个人分析与解决方法ScatterGather的index溢出报错？用pytorch在训练模型的时候，遇到了奇怪的报错。ScatterGather，一看似乎出错就在scatter或者gather的操作上。也就是index溢出的问题，看描述：indexValue >= 0 && indexValue < tens...
2020-03-03 22:00:41
1602
2
转载 latex-参考文献宏包natbib使用方法
本文转载自：https://www.jianshu.com/p/81d7acce62fd，作为副本，侵删。再次感谢原作者清楚的讲解natbib使用方法natbib中文文档natbib英文文档模板如下：\documentclass[UTF8]{ctexart}\usepackage{geometry}% 交叉引用\usepackage{hyperref}% comma： 用逗号分...
2020-03-02 23:05:52
3919
原创 TeXstudio显示段落出现重叠或不清晰的解决方法
这篇文章是关于由屏幕分辨率差异而引起的TeXstudio显示段落出现重叠或不清晰的解决方法问题起因我采用了两个显示屏，但两个屏幕的分辨率并不一致，一个为1920x1080，另一个为1440x900。当我在主显示器上打开TeXstudio，文本正常显示。但是当我将窗口拖动到另一个显示器，则出现段落显示问题如下：（正常显示）（异常显示）解决方法起因便是由分辨率引起，那解决方法也很简单...
2020-03-02 21:22:50
1626
2
原创 TeXstudio拼写检查-选择合适的语言
关于这部分网上的教程很多，有些重复的地方我就暂且略过了词典选择在安装好的TeXstudio默认配置了8钟不同的语言选项：（若需要下载词典，请参考这篇博客https://blog.csdn.net/fsFengQingYangheihei/article/details/81227416）如何选择合适的，我们必须要清楚各自的意义如下：英语选项有GB与US两种，也就是英式英语与美式。 一般...
2020-03-02 12:13:04
4878
原创 Git学习笔记
隔断时间就容易忘记一些操作，导致每次都得重新取学一遍git，所以这次学习顺便整理了一下，也方便以后复习目录参考资料Git基础操作初始化版本操作一些进阶操作参考资料感觉git的知识还是看廖雪峰的就差不多了，然后再练习一下。廖雪峰的git教程非常好的git练习网站：Git基础操作初始化cd my_repositorygit init版本操作Commitgit comm...
2020-03-01 19:48:20
131
原创 pytorch-全面讲解函数topk, scatter, gather
这三个函数在pytorch中关于矩阵操作的非常实用的函数。我认为要想熟练的使用pytorch，能够灵活的使用这三个函数是至关重要的文章目录三者的相同点：维度->数据的映射方式topkgatherscatter参考链接三者的相同点：维度->数据的映射方式因为三者都存在相似的地方，所以我这里放在一起来讲。这个共同点就是index -> value的方式：这里以官方给的gathe...
2020-03-01 19:47:07
966
原创 用latex表示element wise multiplication运算符
向量与矩阵运算：符号⊙\odot⊙，表示方法 $\odot$向量与向量运算：符号∘\circ∘，表示方法： $\circ$
2020-02-29 19:49:46
8572
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人