- 博客(82)
- 收藏
- 关注
RSS订阅
原创 【Useful Tools】SUFE Computer Science Conference Deadline Webtools
SUFE CS CONF DDL
2022-07-10 00:16:00
221
原创 【Paper Reading】Text Classification Using Label Names Only A Language Model Self-Training Approach
【Paper Reading】Text Classification Using Label Names Only: A Language Model Self-Training Approach@author: Heisenberg1.Intuition针对无标签的场景下，无监督训练。只利用标签名字进行分类。paper的出发点也即在人工打标时，也是参考使用了已有的先验知识。比如在新闻类比的分类中，我们提到“运动类”，可能会想到“篮球”，“足球”，“体育场”等相关词。如何只利用label-nam
2021-01-13 23:27:25
1302
2
原创 【Bugs】openai.error.ServiceUnavailableError The server is overloaded or not ready yet
【代码】【Bugs】openai.error.ServiceUnavailableError The server is overloaded or not ready yet。
2023-07-21 15:57:40
1320
原创 Linux Screen保持后台交互
这个时候，关闭终端，xxx虚拟终端也不会停止运行。刚刚我们介绍了创建虚拟终端，并回到主终端的方法。pid/name：为虚拟终端PID或Name。进入screen的指令接受，再按。，xxx为虚拟终端名字。
2023-07-18 13:32:19
274
原创 Linux 系统常用命令
rm -rf test：删除test目录，-r递归删除，-f强制删除。危险操作，务必小心，切记！mv desc.txt /mnt/：剪切文件desc.txt到目录/mnt下。
2023-06-24 15:03:02
384
原创 Paper Reading《Torch.manual_seed(3407) is all you need》
使用PTM在CIFAR10数据集上试验了10^4个种子，探究不用random seed的区别
2022-10-18 06:25:15
855
原创 M1 pro 芯片Macbook Pro配置Apple Silicon版Pycharm安装报错 “Pycharm.app意外退出”
pycharm安装报错
2022-09-30 06:14:32
2240
1
原创 IEEE pdf eXpress 报错Font TimesNewRomanPSMT is not embedded
解决IEEE pdf eXpress报错
2022-09-29 12:43:45
1018
2
原创 【Trick】Finalshell忘记密码找回(傻瓜点击版)
【Trick】Finalshell忘记密码找回(傻瓜点击版)@author: SUFEHeisenberg@date: 2022/04/18有鼠标就行的傻瓜点🐔版：教程一找到finalshell/conn存储dir找到你得密码编码FinalShell密码找回/FinalShell密码破解复制上述链接的Java代码到这里Done!...
2022-04-18 23:45:43
5339
1
原创 如何禁止Mac OSX 自动下载系统更新安装包
一行命令解决Mac OSX 系统更新安装包自动下载问题打开terminal/iTerm2输入如下代码：sudo defaults write /Library/Preferences/com.apple.SoftwareUpdate AutomaticDownload -boolean FALSE出现小钥匙形状后再输入user password。Done....
2022-03-13 10:30:45
1978
原创 【Coding】BERT finetune用任意几个Layer的output feature作为final logits
【Coding】BERT finetune用任意几个Layer的output feature作为final logits某些paper中表示用最后四个layer的output feature结果要好一些。根据huggingface model output输出outputs = self.bert(input_ids, attention_mask=attention_mask, token_type_ids=token_t
2022-03-01 16:52:09
251
原创 【Coding】从BertForSequenceClassification分类出pooled_output作为final feature
从BertForSequenceClassification分类出pooled_output作为final featureBertForSequenceClassification函数在设计时并未返回pooled_output参数：class BertForSequenceClassification(BertPreTrainedModel): #.... #.... outputs = self.bert( input
2022-03-01 16:36:34
1756
1
原创 【Coding】Pandas实现VLOOKUP模糊搜索匹配
【Coding】Pandas实现VLOOKUP模糊搜索匹配1. 问题描述如果想利用pandas在python中实现Series文本中的模糊匹配而非精准匹配，可以利用fuzzy实现。2. 数据样例df1 = pd.DataFrame([['Apple','A'],['Banana','B'],['Orange','C'],['Strawberry','D'],['Mango','G']], columns=['Fruits','AA'])df2 = pd.DataFrame([['Aple','a'
2022-02-27 23:45:30
3212
原创 【Coding】LSF作业系统查看bsub提交历史
LSF作业系统查看bsub提交历史查看job history都是通过bhist命令实现。1. 查看某个具体的作业历史记录bhist -l job-ID(base) usr@gpu1:~$ bhist 655xxSummary of time in seconds spent in various states:JOBID USER JOB_NAME PEND PSUSP RUN USUSP SSUSP UNKWN TOTAL655xx usr xy
2022-02-13 10:02:55
3365
1
原创 【Bugs】RuntimeError CUDA out of memory
【Bugs】RuntimeError: CUDA out of memory.报错如下：Traceback (most recent call last): File "xxx.py", line 110, in <module> loss.backward() File "/nfsshare/apps/anaconda3/lib/python3.7/site-packages/torch/tensor.py", line 185, in backward torch
2021-12-26 20:19:42
1042
1
原创 【Coding】argparse 传递boolean布林值
【Coding】argparse 传递boolean布林值实验中发现argparse在传递参数时无论选择是TrueorFalse，参数都会默认是True。所以想传递boolean可以用一下方法试验：import argparseparser = argparse.ArgumentParser(description='Choose Model mode')parser.add_argument('--flag','-f', action="store_true",
2021-12-24 11:02:16
604
原创 Pytorch Load Dataset 多线程加载读取数据
Pytorch Load Dataset 多线程加载读取数据单线程读取数据时以agnews dataset为例，num_worker=1时读取时间如下：Load Test Data Spends 12.183895587921143 secondsLoad Test Data Spends 200.42685055732727 secondsDataLoader(dataset, num_workers=2,collate_fn=collate_fn)时Load Test Data Spe
2021-11-29 21:29:22
1950
原创 Pandas 返回Nan值的行索
Pandas 返回Nan值的行索通过np.where函数查找。>>> dfOut[1]: 0 10 0.450319 0.0625951 -0.673058 0.1560732 -0.871179 -0.1185753 0.594188 NaN4 -1.017903 -0.4847445 0.860375 0.2392656 -0.640070 NaN7 -0.535802 1.632932
2021-11-15 15:05:29
1978
1
原创 Bert model output不会随意改变
Bert model output不会随意改变随便load两个bert model进行验证。>>>model1 = BertModel.from_pretrained(checkpoint)>>>model2 = BertModel.from_pretrained(checkpoint)>>>a = tokenizer("Hello, my dog is cute", return_tensors="pt")>>>b = t
2021-11-13 23:05:27
1086
原创 【Bugs】ValueError not enough values to unpack (expected 2, got 1)
【Bugs】ValueError: not enough values to unpack (expected 2, got 1)1. Bug 场景Pytorch环境下用Huggingface获取bert.outputs代码output = model(**input)[0]的时候出现bug>>>model(**input)Traceback (most recent call last): File "<input>", line 1, in <module
2021-11-13 16:29:04
2159
原创 【Bugs】pyarrow.lib.ArrowInvalid Column 2 named label expected length 1004 but got length 1000
【Bugs】pyarrow.lib.ArrowInvalid: Column 2 named label expected length 1004 but got length 1000又是一年双十一，又累又困惨戚戚。——2021.11.11bugs描述在pytorch huggingface环境中想更改tokenizer编码的input_ids的index，本想通过赋值的方式发现报错：tokenized_datasets_test = agnews_dataset['test'].map(tok
2021-11-11 20:49:37
2333
1
原创 【Papers quickthrough】Out-of-manifold, Putting Words in BERT’s Mouth, MTLE.
【Papers quickthrough】Out-of-manifold, Putting Words in BERT’s Mouth, MTLE.Out-of-manifold Regularization in Contextual Embedding Space for Text ClassificationPaper Url. Accepted by ACL 2021 Long Paper.1. Abstract最近对BERT的研究主要集中在低维子空间，其中向量向量由输入词(或其上下文)
2021-10-28 17:27:18
287
原创 【Paper Reading】All-but-the-Top Simple
【Paper Reading】All-but-the-Top: Simple and Effective Postprocessing for Word RepresentationsPaper Url. Accepted by ICLR 2018.搞清楚如何减的D维的PCA，figure out why do this?Abstract实值词表示已经转化为NLP应用;最常见的例子是word2vec和GloVe，这两种语言因其捕捉语言规律的能力而得到认可。在本文中，我们演示了一种非常简单，但反直觉
2021-10-28 03:53:31
172
原创 【Paper Quickthrough】October Papers
Paper to quickthroughAll-but-the-Top: Simple and Effective Postprocessing for Word RepresentationsPaper Url. Accepted by ICLR 2018.搞清楚如何减的D维的PCA，figure out why do this?Abstract实值词表示已经转化为NLP应用;最常见的例子是word2vec和GloVe，这两种语言因其捕捉语言规律的能力而得到认可。在本文中，我们演示了一种非常
2021-10-24 23:08:44
1187
原创 【Paper Quickthrough】2021 Bert 各向异性
Bert各向异性2021 Paper QuickthroughISOTROPY IN THE CONTEXTUAL EMBEDDING SPACE: CLUSTERS AND MANIFOLDSPaper Url. Github Url. Accepted by ICLR 2021.Abstract近年来，深度语言模型(如BERT和ERNIE)的上下文嵌入空间的几何特性受到了广泛关注。对上下文嵌入的研究表明，空间具有很强的各向异性，大多数向量落在一个狭窄的锥内，导致高余弦相似性。令人惊讶的是，
2021-10-21 23:09:28
1197
原创 【Paper reading】Fusing label Embedding into BERT An Efficient Improvement for Text Classification
Paper reading: Fusing label Embedding into BERT: An Efficient Improvement for Text ClassificationPaper Url，东京工业大学，Findings of ACL-IJCNLP 2021.2.1 摘要随着BERT等PTM越来越受到关注，人们做了大量的研究来进一步提升它们的能力，从增强实验程序到改进数学原理。在本文中，我们提出了一种简洁的利用标签嵌入技术方法来提高BERT在文本分类中的性能，同时保持几乎相同
2021-10-16 13:58:46
570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人