- 博客(110)
- 资源 (8)
- 收藏
- 关注
原创 ValueError: setting an array element with a sequence in Python
list或者array在取值时,例如:a=[1,2,3],取第一个元素是a[0],而不能是a[[0]]
2022-05-10 18:04:33
586
原创 pytorch bert to paddle 模型转化
使用transformers[onnx]和xpaddle进行torch模型到paddle模型的转化。
2022-05-06 22:16:42
941
原创 Torch和Numpy的高级索引,即,方括号中还有一个Tensor或Numpy
首先把new_token_embeddings当陈一个字典,包含5个字,每个字的含义是1024维。然后,**input_flags的 每个位置上的值就是去这个字典中查这个字对应的含义**。input_flags有多少个字呢?8 × 512,所以最终查询的结果是,大声告诉我,8 × 512 × 1024,对!
2022-04-07 16:57:50
1877
原创 【BUG】conda install datasets 出现很多冲突
conda install -c huggingface -c conda-forge datasets
2022-03-04 21:00:51
747
原创 【报错】unknown error: DevToolsActivePort file doesn‘t exis
option.add_argument("--remote-debugging-port=9222")
2021-10-28 10:15:08
6924
9
原创 【报错】[3772:3772:1027/145318.178495:ERROR:browser_main_loop.cc(1473)] Unable to open X display.
google-chrome --headless --disable-gpu --no-sandbox
2021-10-27 14:58:10
2021
原创 【连招】Pytorch Tensor 索引元素并判断是否为空
场景:我们对logits判断是否有大于0.5的元素,然后判断返回结果是否为空,如果为空,标记为无标签,否则标记为该元素的索引作为标签。
2021-09-10 11:18:12
2863
原创 【正则】匹配内容多了^
原来的re库,要匹配多个非目标字符需要加上多个`^`符号,但现在,将不想匹配的字符写在一个`^`后面即可,不用加多个`^`符号。
2021-09-04 11:28:36
214
原创 pandas.fillna() 函数细节
fillna 中的na究竟是哪些东西?这个na居然还包括None,我就觉得不可思议,mark一下。import pandas as pdimport numpy as npa = [1, np.NaN, np.nan, np.NAN, None, 'None']a = pd.DataFrame(a)a.fillna('111')输出:延伸阅读np.nan np.NAN np.NaN 有什么区别?没区别。...
2021-08-30 20:38:14
333
原创 np.nan np.NAN np.NaN
np.nannp.NANnp.NaN这三个都是numpy库中的非数字类的表示方法。本质上这三个是一样的,但是很多人发现用==测试他们不相等,但实际应该用is进行等价测试。import numpy as npprint(np.nan == np.NaN)print(np.nan is np.NaN)输出:...
2021-08-30 20:37:16
1101
原创 ImportError: dlopen(): Library not loaded: @rpath/libtorch_cpu.dylib Referenced from: /torchtext/_to
ImportError: dlopen(//spert/lib/python3.7/site-packages/torchtext/_torchtext.so, 2): Library not loaded: @rpath/libtorch_cpu.dylib Referenced from: //spert/lib/python3.7/site-packages/torchtext/_torchtext.so Reason: image not found
2021-08-17 16:12:13
1498
原创 mean_average_precision_at_r
这个指标的优点在于引入了:不同位置(距离的远近)的点对指标值的大小的贡献不同,这也比较符合认知,我们希望,如果有一个query,距离它最近的都是同类别的embedding,在预测时才能有一个比较好的表现。
2021-08-01 15:44:23
234
原创 【基操】torch.stack的使用场景
多个 tensor 合并成一个大tensorif isinstance(inputs, list): inputs = torch.stack(inputs)例如:inputs 是一个list, 其中有几个相同维度的 tensor,那么可以将其使用stack,合并成更高维度的 tensor。
2021-07-28 10:43:53
202
原创 faiss-cpu 使用conda安装
# 更新condaconda update conda# 先安装mklconda install mkl# faiss提供gpu和cpu版,根据服务选择# cpu版本conda install faiss-cpu -c pytorch另附:https://www.cnblogs.com/sug-sams/p/12607662.html
2021-07-19 19:52:31
437
原创 【正则】只保留中文、英文的正则表达式
# 只保留中文 s_zh = re.sub(r"[^\u4e00-\u9fa5 ]+", '', s) # 只保留英文 s_en = re.sub(r"[^a-zA-Z ]+", '', s)
2021-07-18 17:34:15
4735
原创 【Pytorch】 如何固化参数?
经常听到Pytorch模型中有人讲要固化参数,那么怎么固化参数呢?“固化”就是固定参数,不要改变的意思。那么参数什么时候会发生改变呢,就是在损失函数对参数求导数的时候,然后参数会更新,那么我们只要阻止参数求导,令其在更新时的改变量为0,即固化参数。# freeze all transformer weightsfor param in self.model.parameters(): param.requires_grad = False下面是对有些NLP基础的人说的:一般的用法是把mo
2021-07-13 20:14:50
1380
4
转载 【mac】mac安装wget
First, download and run MacPorts installer (.pkg)And then install wget:sudo port install wget[1] https://stackoverflow.com/questions/33886917/how-to-install-wget-in-macos
2021-07-13 16:15:29
250
原创 【Python基础】从__hash__语法深入理解Python中的哈希 hash
总结,我们**重写**`_hash__`(记住这里是重写,因为默认是可hash的,所以本身会有该函数)的场景就是,如果我们新创建的类,需要保证值不重复性就可以进行进行重写,另外不要忘记还要重写`__eq__`函数。
2021-07-12 21:16:09
2888
原创 vocab.get(word, vocab.get(UNK))
在自然语言处理中为tokenize后的句子进行转化成id时会用到,该代码的意思是,如果在词表vocab中有word这个单词,那么就取出它的id;如果没有,就去除UNK(未知词)对应的id,其中UNK表示所有的未知词(out of vocab)都对应该id,对应到下一步取词向量时,该id对应的词向量就表示所有未知词语义的平均。...
2021-07-06 22:49:13
1285
2
原创 【BUG】Solving environment: failed ResolvePackageNotFound: - xz==5.2.5=h62dcd97_0 - ...
问题原因:Linux和Windows的conda环境不能直接移植。
2021-05-10 18:33:30
1136
2
原创 【Pandas】DataFrame新增加一行数据
我从文件中读取了一个DataFrame,但是呢,我做了一些判断需要保留若干行数据,并且是不连续,根据不同列的不同性质保留。
2021-04-27 23:34:23
2531
原创 python转换long型日期时间,/Date(1577808000000)/,/Date(-62135596800000)/
这个格式是long型的日期时间格式,有时会在数据库存储这个类型的数据。使用timedate库,python便可以处理该类型的数据。
2021-02-22 15:53:01
2153
原创 Python项目部署服务器
virtualenv创建虚拟环境:https://blog.csdn.net/qq_36441027/article/details/111182378?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLear
2021-02-08 17:16:03
117
原创 【BUG】PyCharm的项目突然消失,源文件也没了,Java路径也没了,Java版本也不对了
今日奇遇写着写着代码,PyCharm的项目突然消失,源文件也没了,Java路径也没了,Java版本也不对了。版本是2020.3.3。解决方法首先卸载重装,不要管什么Java版本和路径的问题。重装完成后,启动PyCharm。将左侧的Project换成Project Files。然后应该会出现的丢失的项目名称,但是没有具体的项目文件。右键单击项目名称,依次选择Local History -》 Show History,然后就会出现你的历史记录,选择你文件都还在的历史。点击左上角的箭头,即可恢复
2021-02-03 10:28:07
3238
6
原创 pytorch_pretrained_bert库报错: Model name ‘pretrained\chinese_L-12_H-768_A-12‘ was not found in model
不仅要有从上下载的PyTorch版的预训练模型,**还要有vocab.txt**,你看看你的`pretrained\chinese_L-12_H-768_A-12`文件下面是不是没有vocab.txt!
2021-01-24 22:11:16
8299
24
原创 如何优雅地使用Pycharm在本地调试运行服务器上的Python程序?
本地没有GPU的我只能用服务器跑Python程序,但是无法直接调试导致我每次只好先从本地复制到服务器,再手动在终端输入“python run.py”。那么有没有办法可以本地使用服务器的Python解释器调试呢?我就给大家总结一下如何在本地使用Pycharm和Jupyter Notebook调试服务器的Python程序。
2021-01-04 23:35:10
5521
1
原创 【BUG】Keras用了multi_gpu_model,但用Nvidia-smi看只用了一块显卡GPU
解决方法很简单,在你原来使用multi_gpu_model外层加上两句代码:strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0","/gpu:1", "/gpu:2"])with strategy.scope():
2020-11-25 12:36:17
1689
8
原创 【论文精读】The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling
这篇文章是浙江大学2020年9月15号推到Arxiv上的。文章的初始出发点应该是来自,关系抽取数据集由于数据存在长尾特征,因此直接从数据中学习语义,必定是不均衡的【样本多的语义容易过拟合某个类别中的头部样本,样本少的语义容易过拟合某个类别中的单个样本】。因此采用引入外部预训练的词向量来进行语义embedding就说得通。同时又知道,我们有三种采样的方式,来进行长尾数据集的再平衡,即将长尾数据集变成某种意义上的平衡数据集。分别是instance balance, class balance和re-wei
2020-10-24 09:48:24
363
原创 【Git】【工作流】怎么从把本地项目文件夹做成一个github库?
第一种:clone的别人的库,做了一定的修改。这里需要删除项目文件夹下的掉.git文件夹,显示隐藏文件夹即可看到。第二种:自己新建的项目文件夹。
2020-10-13 17:14:35
130
原创 微软拼音 快捷输入 自定义格式的时间和日期
设置→时间和语言→语言→添加语言下面的 中文(简体中文)→选项→微软拼音→选项→词库和自学习→添加新的或编辑现有的用户自定义短语→添加。然后在提示框中输入:%yyyy%年%MM%月%dd%日 %HH%:%mm%:%ss% +0800
2020-10-13 16:47:13
5761
4
zotero-better-bibtex-5.5.4.xpi
2021-10-23
jdk-8u281-windows-x64
2021-02-03
chinese_wwm_pytorch
2021-01-26
chinese_wwm_ext_pytorch.zip
2021-01-26
NYT-Wikidata.tar.gz
2020-05-15
NYT10(Tsinghua)
2020-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人