机器学习
文章平均质量分 54
irrationality
终身学习者
展开
-
RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTo
根据错误信息,您安装的 PyTorch 和 torchvision 版本不兼容,因为它们编译时使用了不同的 CUDA 版本。重新安装 torchvision:您也可以尝试卸载当前的 torchvision,并重新安装与您当前的 PyTorch 版本兼容的新版本。然后,根据您的 PyTorch 版本重新安装 torchvision。总之,确保您所使用的 PyTorch 和 torchvision 版本兼容,并按照上述方法之一进行处理,应该能够解决 CUDA 版本不兼容的问题。原创 2023-09-17 17:47:00 · 3446 阅读 · 0 评论 -
不同conda不同cuda环境变量
(2). 因为用的是清华的国内镜像, 所以到(因为此网页内容比较多, 所以加载很慢) 中查看是否有具体的 cuda 版本 (可以用 Ctrl F cuda 进行搜索), 也可以看到(3). 查看 cudnn 的版本, 所以也就确定了与 cuda11.3 相应的 cudnn 版本为 8.2.1确定好所需的各个版本之后就可以利用 conda 进行安装了。原创 2023-07-13 10:32:55 · 1191 阅读 · 0 评论 -
Resource punkt not found. Please use the NLTK Downloader to obtain the resource:
解决办法:从这里手动下载相关文件即可。原创 2023-07-08 11:59:05 · 282 阅读 · 0 评论 -
RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously reported
这个原因是我设置device为1,但是却设置了%env CUDA_VISIBLE_DEVICES=0,因此才会报设备序号不匹配的问题。原创 2023-06-28 20:21:49 · 1802 阅读 · 0 评论 -
vscode远程登录出错:Permission denied (publickey,password). > 过程试图写入的
过程试图写入的管道不存在。原创 2023-06-23 17:59:54 · 1536 阅读 · 1 评论 -
micromamba快速安装
【代码】micromamba快速安装。原创 2023-07-03 17:45:04 · 1236 阅读 · 0 评论 -
英伟达驱动安装
lang=cn。原创 2023-06-22 16:04:01 · 162 阅读 · 0 评论 -
安装cuda报错 Failed to verify gcc version. See log at /var/log/cuda-installer.log for details.
安装cuda报错 Failed to verify gcc version. See log at /var/log/cuda-installer.log for details.原创 2023-06-22 13:47:53 · 2924 阅读 · 0 评论 -
RuntimeError: CUDA error: no kernel image is available for execution on the device CUDA kernel error
参考:https://blog.csdn.net/h3c4lenovo/article/details/119003405。但是我的cudnn版本不一定匹配。原创 2023-06-20 14:06:09 · 265 阅读 · 0 评论 -
tqdm.notebook显示进度条
打开Jupyter Notebook后,点击右上角的“Nbextensions”选项卡,在列表中找到“HBox (Horizontal Box layout)”插件,并选中它。安装jupyter_contrib_nbextensions插件,该插件包含了大量的Jupyter Notebook扩展,其中就包括HBox插件。以上是在Jupyter Notebook中安装和使用HBox插件的一般步骤,希望能够帮助您。启用插件后,重启Jupyter Notebook。安装完成后,在终端中输入如下命令启用插件。原创 2023-06-02 22:37:56 · 1114 阅读 · 0 评论 -
windows新建虚拟环境
在 JupyterLab 中选择新创建的内核。启动 JupyterLab 后,进入一个新的 notebook 中,点击上方的『Kernel』菜单,选择『Change Kernel』,然后在弹出的列表中选择新创建的内核 “Python (myenv)”。这样就可以将安装在虚拟环境中的指定版本的 Python 安装到 JupyterLab 的内核中,方便进行开发和交互式计算。创建一个虚拟环境,并在其中安装指定版本的 Python。这个包将帮助我们将该版本的 Python 注册到 JupyterLab 内核中。原创 2023-05-30 20:07:57 · 1284 阅读 · 0 评论 -
【打卡-Coggle竞赛学习2023年4月】图像检索与重复图像识别
类似地在SimCSE中,模型通过学习对同一个句子的多个视角进行编码,从而生成不同的表示形式,这些表示形式被设计成相互一致的,以使得相同实例的不同视角编码之间的距离最小化。在SimCLR中,模型通过学习对同一个图像的多个视角进行编码,从而生成不同的表示形式,这些表示形式被设计成相互一致的,以使得相同实例的不同视角编码之间的距离最小化。对比损失的目标是将同类实例之间的距离最小化,不同类实例之间的距离最大化,而三元组损失则是将同类实例之间的距离最小化,并将不同类实例之间的距离最大化。原创 2023-04-25 20:41:43 · 1055 阅读 · 0 评论 -
chatgpt写微信小程序
【代码】chatgpt写微信小程序。原创 2023-04-25 18:49:29 · 770 阅读 · 0 评论 -
tokenizer.pad_token = tokenizer.eos_token这句话是什么意思?
tokenizer.pad_token = tokenizer.eos_token 这个设置的意思是指定填充标记(pad_token)使用结束标记(eos_token)。一般如果我们的模型使用了 [SEP] 标记,那么设置填充标记也为 [SEP] 会使模型处理填充部分的表示更加连贯,效果会更好。所以,这个设置就是指定我们使用 [SEP] 标记来进行补充填充,而不是默认的 [PAD] 标记。因为输入序列只有7个标记,不足 max_length=10,所以添加了3个[SEP]填充标记来补充。原创 2023-04-23 22:03:30 · 5589 阅读 · 0 评论 -
tokenizer.pad_token = tokenizer.eos_token这句话是什么意思?
tokenizer.pad_token = tokenizer.eos_token 这个设置的意思是指定填充标记(pad_token)使用结束标记(eos_token)。一般如果我们的模型使用了 [SEP] 标记,那么设置填充标记也为 [SEP] 会使模型处理填充部分的表示更加连贯,效果会更好。所以,这个设置就是指定我们使用 [SEP] 标记来进行补充填充,而不是默认的 [PAD] 标记。因为输入序列只有7个标记,不足 max_length=10,所以添加了3个[SEP]填充标记来补充。原创 2023-04-22 17:54:06 · 2168 阅读 · 0 评论 -
tokenizer.padding_side = “left“这句话有什么作用?
当我们使用 tokenizer 处理输入序列时,如果输入序列的长度不足 max_length,那么 tokenizer 就需要添加填充标记来将输入序列补足到 max_length 的长度。- right: 添加在输入序列的右侧(结尾)所以,tokenizer.padding_side = “left” 这个设置的作用就是指定 tokenizer 添加填充标记到输入序列的开头。所以,这个设置的作用就是指定 tokenizer 添加填充标记(padding)的位置,从而影响最终的输入序列。原创 2023-04-22 17:53:09 · 4535 阅读 · 0 评论 -
tokenizer函数的参数truncation=True是什么意思
如果 truncation=True,那么 tokenizer 会根据几个规则进行截断:1. 首先删除输入序列的中间部分,只保留前后 max_length/2 的标记。2. 然后继续删除前面或后面的标记,直到保留的标记数量等于 max_length。3. 在截断的过程中,tokenizer 会尽量保留输入序列的结构,不截断词与词之间的关系。所以,truncation=True 的作用就是允许我们的 tokenizer 进行这样的截断操作,这样我们就可以将任意长度的输入文本处理成我们想要的长度了。原创 2023-04-22 17:52:16 · 4420 阅读 · 1 评论 -
什么是mlm模型?
对于文本分类模型中取名为 “mlm” 的原因,我不确定。但从机器学习和自然语言处理领域的角度来看,“MLM” 通常指的是 “Masked Language Model”,即遮蔽语言模型。在这种模型中,输入文本的一部分会被随机遮蔽掉,模型需要通过上下文来预测被遮蔽的词或字符。在 BERT 模型中就包含了 MLM 部分。因此,在您提供的文本分类模型中也可能包含有遮蔽语言模型的部分,且该模型以此命名。但具体原因需要进一步澄清。BERT(Bidirectional Encoder Representations f原创 2023-04-05 22:24:30 · 3002 阅读 · 0 评论 -
如何将数据导出为比赛需要的csv文件?
现在我想把这个数组存入csv,逗号分割,header为ID和Target,格式如下。如何写python代码?表示不要将 DataFrame 的索引保存到 csv 文件中,否则会多出一列 ‘Unnamed: 0’。生成了一个从 1 到数组长度的整数序列,并将其作为 ‘ID’ 列添加到 DataFrame 中。运行后,当前目录下就会生成一个名为 ‘result.csv’ 的文件,其内容格式符合要求。表示给 DataFrame 添加一列名为 ‘Target’ 的数据。是一个 numpy 数组,原创 2023-04-04 18:10:07 · 665 阅读 · 0 评论 -
如何将独热标签还原为字符串标签?
把标签变成了独热编码,现在要如何把标签变回去呢?函数将独热编码的标签转换为原始字符串标签。就是转换后的字符串标签列表。原创 2023-04-04 17:03:12 · 731 阅读 · 0 评论 -
HDF5是什么文件格式?
(4) 【Python基础】在pandas中利用hdf5高效存储数据_风度78的 …(6) HDF5文件介绍_hdf5是什么文件_秦岭熊猫的博客-CSDN博客. https://blog.csdn.net/tianshan2010/article/details/106052466 访问时间 2023/4/1.2023/4/1(1) h5py快速入门指南 - 简书. https://www.jianshu.com/p/a6328c4f4986 访问时间 2023/4/1.原创 2023-04-01 16:34:26 · 2121 阅读 · 0 评论 -
TypeError: <tf.Tensor ‘model/attention_layer/Reshape:0‘ shape=(50, 1) dtype=float32> is out of scope
泄漏到了全局作用域中。这意味着,即使您无法从函数外部访问它,但在其他地方定义的代码可能会意外地使用它。为了解决这个问题,可以将变量定义为局部变量,或者将其作为函数返回值返回。但是,由于这个变量是在函数内部定义的,因此它只能在函数内部使用。如果您尝试在函数外部访问它,您将收到一个错误消息。这段代码是一个使用TensorFlow的Python函数。重新分配给一个新的形状,并且可以确保不会修改该层的权重。的新形状,并且不要修改该层的权重。这段代码中的问题是,在函数内部定义的变量。在函数内部,它还定义了一个名为。原创 2023-04-01 16:30:51 · 539 阅读 · 2 评论 -
ModuleNotFoundError: No module named ‘keras.engine.topology‘
可以适配最新keras。原创 2023-04-01 16:06:08 · 2146 阅读 · 0 评论 -
load_model设置了compile=False有什么影响?
这是因为在预测时不需要编译模型,只需要加载模型并使用它来进行预测。只不过训练时需要compile才能不断优化参数。原创 2023-04-01 16:05:39 · 521 阅读 · 1 评论 -
K.clear_session()的作用
https://stackoverflow.com/questions/50895110/what-do-i-need-k-clear-session-and-del-model-for-keras-with-tensorflow-gpu 访问时间 2023/4/1.https://bing.com/search?https://runebook.dev/zh/docs/tensorflow/keras/backend/clear_session 访问时间 2023/4/1.原创 2023-04-01 15:53:40 · 910 阅读 · 0 评论 -
新服务器安装cuda和cudnn
非常不错的一种方案原创 2023-03-31 23:56:00 · 325 阅读 · 1 评论 -
关于time.clock()废弃
https://blog.csdn.net/mxxxkuku/article/details/95784259 访问时间 2023/3/31.https://blog.csdn.net/qq_44735381/article/details/107815584 访问时间 2023/3/31.https://blog.csdn.net/PiperNigrum/article/details/117328235 访问时间 2023/3/31.函数返回当前进程使用的 CPU 时间。原创 2023-03-31 22:23:44 · 835 阅读 · 0 评论 -
查看ubuntu版本
这个错误通常是因为缺少lsb_release命令而导致的。原创 2023-03-31 22:14:40 · 172 阅读 · 0 评论 -
AttributeError: module ‘keras.preprocessing.sequence‘ has no attribute ‘pad_sequences‘
Stack Overflow. https://stackoverflow.com/questions/42598630/why-cant-i-use-preprocessing-module-in-keras 访问时间 2023/3/31.(3) keras.preprocessing.sequence没有pad_sequences函数-Python-CSDN问答. https://ask.csdn.net/questions/7741881 访问时间 2023/3/31.原创 2023-03-31 21:57:22 · 940 阅读 · 0 评论 -
metadata和resources版本不同是怎么回事
importlib-metadata 和 importlib-resources 是两个不同的 Python 模块,虽然它们的名称都包含了 importlib 这个关键词。如果你在使用某个 Python 库时遇到了跟这两个库有关的问题,请确保你同时安装了它们,并且它们的版本符合库的要求。importlib-metadata 模块提供了 Python 包元数据管理功能,例如读取和查询包名称、版本等信息。importlib-resources 则提供了一种简单的方式来使用 Python 资源(例如静态文件)。原创 2023-03-30 23:05:20 · 314 阅读 · 0 评论 -
AttributeError: module ‘importlib‘ has no attribute ‘util‘
【代码】AttributeError: module 'importlib' has no attribute 'util'原创 2023-03-30 23:03:55 · 1721 阅读 · 0 评论 -
在jupyter中复制多个单元格
https://blog.csdn.net/weixin_39925939/article/details/122171488 访问时间 2023/3/23.https://blog.csdn.net/caesarhtx/article/details/87113179 访问时间 2023/3/23.https://blog.csdn.net/qq_45634030/article/details/124349003 访问时间 2023/3/23.原创 2023-03-23 18:30:27 · 5277 阅读 · 0 评论 -
f用于python格式化字符串
这里的f是Python中的格式化字符串,它允许您在字符串中插入变量。在这种情况下,它将每个元组的均值和标准差插入到字符串中。例如,如果元组是(0, 1),那么字符串就会包含’mean 0, std 1’。原创 2023-03-22 18:08:53 · 215 阅读 · 0 评论 -
saved_models_base=${MODEL_DIR}/export/ saved_model_dir=${saved_models_base}$(ls ${saved_models_base}
{saved_models_base}就可以了。这两句代码是什么意思?原创 2023-03-21 15:10:13 · 196 阅读 · 0 评论 -
INFO:tensorflow:Graph was finalized.这句话是什么意思?
(3) Tensorflow : Graph is finalized and cannot be modified. https://stackoverflow.com/questions/41798311/tensorflow-graph-is-finalized-and-cannot-be-modified 访问时间 2023/3/21.https://blog.csdn.net/sinat_28375239/article/details/108382613 访问时间 2023/3/21.原创 2023-03-21 14:52:36 · 315 阅读 · 0 评论 -
model1 = load_model(“Pneumonia_all_to_one“)报错ValueError: Unknown initializer: GlorotUniform
(2) tf.keras.initializers.GlorotUniform | TensorFlow v2.11.0. https://www.tensorflow.org/api_docs/python/tf/keras/initializers/GlorotUniform 访问时间 2023/3/20.例如,如果你在服务器上使用tensorflow内置的keras进行安装和保存模型,而在Windows下面使用独立的keras进行加载模型,就会出现这个错误¹⁴。原创 2023-03-20 20:32:22 · 518 阅读 · 0 评论 -
ValueError: The `batch_size` argument must not be specified when using a generator or Sequence as an
Cross Validated. https://stats.stackexchange.com/questions/153531/what-is-batch-size-in-neural-network 访问时间 2023/3/20.2023/3/20(1) Model training APIs - Keras. https://keras.io/api/models/model_training_apis/ 访问时间 2023/3/20.原创 2023-03-20 19:38:45 · 601 阅读 · 0 评论 -
tensorflow里面有内置的numpy模块么?
2023/3/20(1) Module: tf.experimental.numpy | TensorFlow v2.11.0. https://www.tensorflow.org/api_docs/python/tf/experimental/numpy 访问时间 2023/3/20.(4) Load NumPy data | TensorFlow Core. https://www.tensorflow.org/tutorials/load_data/numpy 访问时间 2023/3/20.原创 2023-03-20 18:35:42 · 626 阅读 · 0 评论 -
sess = tf.Session(config=sess_config) K.set_session(sess) 其中K.set_session(sess)是什么意思? 我如果不使用这两句话,代码也
2023/3/20(1) tf.compat.v1.keras.backend.set_session | TensorFlow v2.11.0. https://www.tensorflow.org/api_docs/python/tf/compat/v1/keras/backend/set_session 访问时间 2023/3/20.如果你不使用这两句话,代码也能正常运行,可能是因为你没有在多个设备或者分布式环境下运行TensorFlow,而是使用了默认的会话和配置。原创 2023-03-20 18:23:35 · 550 阅读 · 0 评论 -
如何给一个包起别名,然后再从这个包里导入? 我写了如下的代码: import tensorflow as tf from tf import keras -----------------------
如何给一个包起别名,然后再从这个包里导入?(3) How To Import Modules in Python 3 | DigitalOcean. https://www.digitalocean.com/community/tutorials/how-to-import-modules-in-python-3 访问时间 2023/3/20.的包里导入,而不是从你之前定义的别名里导入。但是,如果你想从这个别名的包里导入,你不能直接写。这样就可以避免模块找不到的错误了。给一个包起别名,可以使用。原创 2023-03-20 18:23:33 · 205 阅读 · 0 评论