- 博客(58)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 vscode 中python不能跳转到函数方法
原来的函数现实是这样：这个时候修改成现在的编译环境。点击左下方的这个环境，修改为目前环境。这个时候方法的现实颜色就发生改变了。
2021-12-13 12:20:01
1577
原创 python：文件写入出现ASII编码
查了很多资料。如果我在json文件写入字符时，这样写writer.write(json.dumps(res_uy) + "\n")但是写入到文件就会出现 ascII字符。writer.write(json.dumps(res_uy, ensure_ascii=False) + "\n")中间加入ensure_ascii=False.就可以恢复成字符原本模样。...
2021-11-25 18:22:25
747
原创 AttributeError: ‘str‘ object has no attribute ‘read‘
最近在使用json进行字符串的读取时出现的错误。for train_line in train_lines: print("train_line: ", train_line) train_each_line = json.load(train_line)最后发现 需要使用 json.loads.Python中的json中有转换json的方法：json.load()和json.loads()：json.load()：是从文件中加载内容并转换成json；json.load
2021-11-24 18:37:55
13629
原创 AttributeError: type object ‘BertConfig‘ has no attribute ‘pretrained_config_archive_map‘
这个应该是版本的问题，更换一下版本。pip install transformers==2.0.0或者：try$from transformers import ALBERT_PRETRAINED_CONFIG_ARCHIVE_MAPor$from transformers import BERT_PRETRAINED_CONFIG_ARCHIVE_MAP参考链接：https://github.com/huggingface/transformers/issues/58
2021-11-15 17:14:10
5123
原创 TypeError: __init__() got an unexpected keyword argument ‘cls_lalels‘
出现这类问题，一般都是打错了一些英文字。变量不对。比如我的cls_labels和cls_lalels就搞错了。
2021-09-27 20:13:26
669
原创 Non-UTF-8 code starting with ‘\xd8‘
text = "پۇلنى ئالداپ ئېلىۋېلىش ئۈچۈن ، تەيجۇ ۋۇجوۋ كۆپىيىش دوختۇرخانىسى ئالدامچىلىق قىلغان قارا نىيەتلىك ئازگالنى كۆپ قېتىم ئاشكارىلاپ قويۇش كېرەك ، كېيىن 10 مىليون يۈەندىن ئارتۇق كېسەل كۆرسىتىپ ، ئالدامچى شىركىتى شېنياڭ فۇبېي پەن - تېخنىكا چەكلىك شىركىتى.
2021-06-24 13:43:44
336
原创 Python中元组和列表的区别
Python的元组：str1 = ("abc", 2, 3)str2 = tuple()Python的列表：str1 = [1, 2, 3, 4]str2 = list()二者可以相互转化。基本都是一种数据结构，用来线性的存储数据。区别在于元组的数据无法修改，只能通过转化为列表来进行修改。...
2021-06-24 11:22:44
160
原创 TypeError: Object of type ‘int64’ is not JSON serializable
train_uy = pd.read_csv('./src_data/train_10000_uy.csv', sep='\t', header=None, names=['uid', 'content', 'content_type', 'entity'])for i in range(len(c)): # if c[2][0] != 'NaN' and c[3][0] != 'NaN': # 清洗数.
2021-06-10 18:04:22
250
原创 matplotlib颜色表一览
# 使用 bar 函数画出条形图plt.bar(index_1, height=x1, width=bar_width, color='lightgrey', label='ALBERT-Uy')plt.bar(index_2, height=x2, width=bar_width, color='darkgrey', label='XLM-Uy')plt.bar(index_3, height=x3, width=bar_width, color='dimgrey', label='XLM-R...
2021-06-08 17:35:36
3233
1
转载 pytorch中index_select()函数的理解
a = torch.linspace(1, 12, steps=12).view(3, 4)print(a)b = torch.index_select(a, 0, torch.tensor([0, 2]))print(b)print(a.index_select(0, torch.tensor([0, 2])))c = torch.index_select(a, 1, torch.tensor([1, 3]))print(c)应用
2021-06-07 13:04:32
180
原创 Python：ValueError: expected sequence of length 449 at dim 1 (got 471)
原始数据：dims = [[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 6
2021-05-07 23:19:07
4150
原创 OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch
Transformers加载BERT出错。错误：Exception has occurred: OSError Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.解决办法：把C:\Users\Administrator\.cache\huggingface\transfor
2021-02-23 11:21:10
8791
2
原创 ModuleNotFoundError: No module named ‘importlib_metadata‘
出现错误：ModuleNotFoundError: No module named 'importlib_metadata'解决办法：安装最新版本的 “importlib_metadata”。我是用的conda install -c anaconda importlib-metadata。问题就解决了。
2021-02-22 14:47:32
5822
1
原创 Python：字典排序，其值为二维数组
参考博客链接：https://blog.csdn.net/cxcxrs/article/details/82459800res = {'业绩下滑': [749, 0.020265151515151514], '提现困难': [640, 0.017316017316017316], '交易违规': [1846, 0.049945887445887446], '失联跑路': [340, 0.0091991341991342], '涉嫌违法': [1272, 0.03441558441558441], '
2021-01-13 21:03:15
582
原创 记一次使用 XODO 的体验
官网网址：https://www.xodo.com/编辑PDF的网址：https://www.xodo.com/app/#/pdf编辑PDF的界面：使用体验是非常好的，推荐使用。做标记什么的非常方便，还可以在线存储。
2020-12-29 23:59:01
1359
原创 ValueError: color kwarg must have one color per dataset
在画直方图的时候出现了这个问题。我最开始的代码如下：import matplotlib.pyplot as pltplt.hist(x=train.content_type, bins=len(labels_1), color="steelblue", edgecolor='black')plt.xlabel('事件类型')plt.ylabel('频数')plt.show()这个问题是 x=train.content_type 作为参数传进去的时候，其label(1,2,3....)
2020-12-25 13:39:17
3204
原创 wget下载目录下文件
wget下载清华源中某一个文件夹下的所有内容目的网址：https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models/hfl/chinese-roberta-wwm-ext/wget -r -np -nH -R index.html --limit-rate=2M https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models/hfl/chinese-roberta-wwm-ext/-r..
2020-12-14 13:27:01
900
原创 JSP:下载包的应用
我现在要下载mail.jar和activation.jar但是官方网站出现了，需要注册登录的场景，所以这个时候，我们得找其他的渠道看看。贴上网址：http://www.java2s.com/Code/Jar/CatalogJar.htm根据首字母进行搜索，找到自己需要的jar包就可以。...
2020-12-01 19:37:31
151
原创 JSP文件中文编码问题
将所有编码方式改为 utf-8 即可。<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>样例：
2020-12-01 17:14:03
147
原创 mysql workbench requires the visual c++2019 redistributable package to be installed
去这边下载就行。https://support.microsoft.com/en-us/help/2977003/the-latest-supported-visual-c-downloads后面安装完重启。
2020-12-01 16:43:06
1615
原创 使用Eclipse：InvalidModuleDescriptorException when running my first java app
public class frist{ public static void main(String[] args) { System.out.println("Hello World"); }}错误：Caused by: java.lang.module.InvalidModuleDescriptorException: frist.class found in top-level directory (unnamed package not allowed .
2020-11-30 14:56:16
1633
2
原创 有关于GPU服务器中，驱动问题的思考
出现的问题： 关于无法指定使用特定的卡来跑实验。最后找的师兄来解决的问题，怎么解决的呢？ 1.更新了NVIDIA的图形驱动。去得官网网站下载安装。 https://developer.nvidia.com/cuda-10.2-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&...
2020-11-26 17:19:27
181
转载 pip国内源设置方法
pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。关于pip 默认安装路径有问题的可以看这篇文章：https://blog.csdn.net/weixin_41712059/article/details/82940516pip国内源设置方法很多朋友反映在装完pip后，使用pip安装python包特别慢。这主要是应为国内网络不稳定的原因，将pip安装源设置为国内的源即可。1.pip国内的一些镜像 阿里云http://..
2020-11-26 13:59:14
1419
1
原创 记一次使用 Pandas.DataFrame.sample
首先我的目标是将一个.csv文件中的内容给分割开来。分为训练集与测试集。但是折腾了一天，才发现有更加简单的方法实现。使用pandas包。train.to_csv('the_train.csv', encoding='utf_8_sig', sep='\t', header=None)# 测试集test = train.sample(frac=0.1, replace=False, random_state=5, axis=0)# 训练集，余下的数据作为训练集train = tra
2020-11-24 19:52:46
286
转载 Pandas.DataFrame.sample学习
参考资料：pandas.DataFrame.sample - pandas 0.23.1 documentationpandas.pydata.org转载自：https://zhuanlan.zhihu.com/p/38255793DataFrame.sample(n=None,frac=None,replace=False,weights=None,random_state=None,axis=None)从一列/行数据里返回指定数量的随机样本。常用的几个参数解释：n: ...
2020-11-24 19:45:43
423
原创 pandas的to_csv保存文件乱码
train.to_csv('train.csv', encoding='utf_8_sig',index=None)中间加入 encoding='utf_8_sig'或者'utf_8'。
2020-11-24 13:47:37
143
原创 pandas保存csv文件去除索引
train.to_csv('train.csv', encoding='utf_8_sig',index=None)在后面加上一个 index = None就行。
2020-11-24 13:36:14
3042
2
原创 国内HuggingFace，预训练模型镜像使用
Hugging Face Transformers是自然语言处理领域的重要开源项目，提供了基于通用架构（如 BERT，GPT-2，RoBERTa）的数千个预训练模型，并提供了 PyTorch 和 TensorFlow 的良好互操作性。我们镜像了 Hugging Face Model Hub，为国内用户下载预训练模型数据提供便利。使用方法注意：transformers > 3.1.0的版本支持下面的mirror选项。只需在from_pretrained函数调用中添加m...
2020-11-23 17:51:56
12886
2
原创 Python：关于logging的使用
关于logging的占位符的使用。logging.info("错误信息，占位符1{}，占位符2{}", 参数1, 参数2)但是如果是这种呢？logging.info(f"Loading features from cached file {cached_features_file} [took %.3f s]", time.time() - start)Python里面的描述：import logginglogger = logging.getLogger(__name__
2020-10-29 18:01:57
892
原创 bert模型中的[CLS]、[UNK]、[SEP]
BERT 的输入可以包含一个句子对 (句子 A 和句子 B)，也可以是单个句子。此外还增加了一些有特殊作用的标志位：[CLS] 标志放在第一个句子的首位，经过 BERT 得到的的表征向量 C 可以用于后续的分类任务。 [SEP] 标志用于分开两个输入句子，例如输入句子 A 和 B，要在句子 A，B 后面增加 [SEP] 标志。 [UNK]标志指的是未知字符 [MASK] 标志用于遮盖句子中的一些单词，将单词用 [MASK] 遮盖之后，再利用 BERT 输出的 [MASK] 向量预测单词是什么。
2020-10-27 16:16:06
4004
1
原创 VScode ssh无法建立连接
问题在于SSH的配置中没有 ssh.exe文件。按 shift + ctrl + P 快捷键。输入 setting 就会出现关键推荐，点击首选项，打开settings.json。参考自知乎下的评论：https://zhuanlan.zhihu.com/p/81039716我在在settings.json中添加，但是得安装Git，否则得找其他ssh.exe："remote.SSH.path":"D:\\ProgramFiles\\Git\\usr\\bin\\ssh.exe"G..
2020-09-30 19:59:15
5407
2
原创 SyntaxError: Non-UTF-8 code starting with ‘\xc4‘ in file torch_bert.py on line 3
SyntaxError: Non-UTF-8 code starting with '\xc4' in file torch_bert.py on line 3, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details解决办法：在首行加入编码# -*- coding: gbk -*-后面就解决了。
2020-09-28 16:28:31
354
原创 TypeError: the JSON object must be str, bytes or bytearray, not dict
样例：{'受理法院': '四川省乐山市中级人民法院', 'event_type': '破产清算', 'event_id': '4758105', '公司名称': '乐山乐电天威硅业科技有限责任公司'}问题：TypeError：JSON对象必须是str，bytes或bytearray，而不是'dict'开始的代码：# 直接对该字段进行解析data1 = json.loads(data['events'][0])修改后的代码：加入 json.dumps()json.load.
2020-08-24 11:14:59
6996
原创 python 读取TXT文档中json格式
TXT文本存储文字以行数存储的：换行一下，更加直观。代码如下：train_txt = open("./data/ex1.txt", "r", encoding="UTF-8")lines = train_txt.readlines()print(lines[0])line_1 = lines[0]data = json.loads(line_1)print(type(data))# 结果：<class 'dict'>for line in data:
2020-08-24 10:14:35
2591
原创 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x9a in position 27: illegal multibyte sequence
python读取文件时报错。源代码train_txt = open("./data/ex1.txt", "r")解决办法1：加上 UTF-8 说明train_txt = open("./data/ex1.txt", "r", encoding="UTF-8")解决办法2：train_txt = open("./data/ex1.txt", "rb")但是这个会导致编码是进制格式展示...
2020-08-24 09:36:54
335
原创 二分查找：记一次问题中的 int 类型的整形溢出
在二分查找中，选择取中值时，midmid = (low + high) / 2假设值为整数，int类型的数值范围在-2的31次方到2的31次方-1：[-2^31, 2^31-1].如果两个整形数相加，最大就是 (2^31-1) +(2^31-1),会导致 整形溢出所以修改一下：mid = low + (high - low) / 2...
2020-07-31 11:52:13
258
原创 Python：初始化一个数组，设置固定长度
1.使用for循环N = 100b = [0 for _ in range(N)]b = [None for _ in range(N)]2.直接乘法N = 100b = [0] * 100b = [None] * 100注意：个人觉得初始化为 None 会更好，毕竟为空值。
2020-07-31 08:47:34
18233
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人