填坑笔记
leap_ruo
这个作者很懒,什么都没留下…
展开
-
调用chatGML-6B原始模型报错:RuntimeError: Internal: src/sentencepiece_processor.cc(1101) [model_proto->ParseF
根据chatGML-6B官网提示,准备做简单的预训练,样本数据用的也是官方提供的。这个可以根据本地模型大小判断是否真正被clone下来,如果没用采用以下方式。原创 2023-07-15 09:43:49 · 2509 阅读 · 0 评论 -
安装TensorFlow时报错 zsh: illegal hardware instruction python
下载地址:https://driver.google.com/drive/folders/1oSipZLnoeQB@Awz8U68KYeCPsULy_dQ7T。如果是安装TensorFlow 1.x版本,一般不会出现这个问题,可以直接使用pip安装。下载tensorflow-2.4.1-py3-none-any.whl文件。原创 2023-07-15 09:22:48 · 798 阅读 · 0 评论 -
【pytorch报错】If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True
说来解决办法有点水,参考之前有效的机器,发现torch的版本是1.11,后来将原始版本升级到1.11。加载torch的huggingface的bin模型,未使用复杂处理逻辑,但是出现异常,详细报错内容。发现机器上并没有安装TF。...原创 2022-08-28 20:46:03 · 9897 阅读 · 3 评论 -
conda更新问题
conda 是一个开源的软件包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。有时候安装包的时候会提示conda需要更新,但是当执行conda update conda会出现更新失败。 比如conda版本自带的是py3.6, 当更新的时候其实需要py3.7 这个时候就需要找个新版本的conda试试了如果失败,试试以下方式conda update -n base -c defaults conda ...原创 2022-05-10 16:43:45 · 4584 阅读 · 0 评论 -
报错提示:wandb.errors.error.UsageError: api_key not configured (no-tty)
wandb是什么wandb是Weights & Biases的缩写,这款工具能够帮助跟踪你的机器学习项目。 它能够自动记录模型训练过程中的超参数和输出指标,然后可视化和比较结果,并快速与同事共享结果。怎么解决使用github账号登录https://wandb.ai/authorize,然后创建完之后,会有一个码,在终端使用wandb init,然后输入刚才的码(注意当你输入码的时候,不可见),就OK了延伸更多其他信息参见 https://docs.wandb.ai/guides/track原创 2022-04-28 10:51:03 · 3242 阅读 · 0 评论 -
TensorFlow使用keras报错ImportError: cannot import name ‘get_config‘ from ‘tensorflow.python.eager.contex
报错在使用TensorFlow keras中的如下方法时,报错:ImportError: cannot import name ‘get_config‘ from ‘tensorflow.python.eager.context‘from keras.preprocessing.sequence import pad_sequences原因from keras.preprocessing.sequence import pad_sequences这个import调用到了…/site-packa原创 2022-02-20 18:05:40 · 3253 阅读 · 0 评论 -
tensorflow 加载模型时 报错: ValueError: No variables to save
背景加载训练好的checkpoint原因在定义graph之后,当前graph没有任何变量,所以会在saver = tf.train.Saver()代码出报错.解决办法我们定义saver的原因,就在于加载已训练好的ckpt模型,所以可以不用定义变量。所以save应该被如下初始化saver = tf.train.import_meta_graph('ckpt_mata_file')...原创 2022-02-20 18:02:40 · 2243 阅读 · 0 评论 -
python报错: ValueError: zero length field name in format
报错报错如题,背景是python中使用了format方法原因平时开发机和线上环境总是会有差别,甚至有时候都不确定线上环境具体是哪个。这个问题就在于线上环境python不仅是2,还是2.6! python2.7相对于2.6基本是跨越式的改进,稍不注意就掉坑里了。问题很简单 python2.6只支持str = '{0}\t{1}\t{2}\t{3}'.format(var1, var2, var3, var4)不支持str = '{}\t{}\t{}\t{}'.format(var1, var2原创 2022-02-20 18:00:43 · 2448 阅读 · 0 评论 -
vi编辑中自动插入行号
前言:之前有文本处理的需求,给文本自动编入行号,写个简单的python脚本可以很容易的解决,但是如果是频繁预处理一些文本,还是shell操作更有成就感。命令如下::let i=0 | g/^/s//\=i | let i=i+1当然如果只是显示文本行号用下面就可以:set nu # 显示行号# 以下为可有可无的扩展,如果有帮助,不胜荣幸:set nonu # 不显示行号:set ic # 忽略大小写:set noic # 不忽略大小写:sp ${file_name} # 并原创 2021-04-17 21:57:21 · 425 阅读 · 0 评论 -
pyahocorasick安装问题
import ahocorasickAC自动机算法对应的python模块ahocorasick,对应安装的模块名为pyahocorasick。所以用pip装pip install pyahocorasick但是会报各种错误,尝试过网上的一些建议 比如装个visual studio build等,结果还是搞不定。最后通过conda搞定conda config --add channels conda-forgeconda install pyahocorasick通过以上命令就可以安装成功原创 2021-01-12 09:31:30 · 1999 阅读 · 1 评论 -
Centos下安装ffmpeg
随着短视频业务量的崛起,视频转码成为处理数据中不可或缺的一个环节,ffmpeg是应该最广泛的一个工具。然而在常用centos的源中又不能直接yum安装。通过查找网友经验特此整理如下步骤:安装EPEL Release因为安装需要使用其他的repo源,所以需要EPEL支持yum install -y epel-release#如果出现缺少Code提示,可以:sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7#安装完成之后,可以查看是否安装成功原创 2020-08-20 17:25:40 · 459 阅读 · 0 评论 -
那些和名字无关的python模块安装
Python import未安装的模块时,会报错ImportError: No module named XXX。大部分情况直接pip install XXX 即可,但是万事无绝对,有些模块名字和安装包并非一致。现整理遇到的一些特殊情况,供大家参考,也欢迎补充~模块名安装命令builtinspip install futureMySQLdbpip install mysql-pythoncloghandlerpip install ConcurrentLogHandl原创 2020-08-18 12:14:26 · 602 阅读 · 0 评论 -
MapReduce FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess
MapReduce任务报错 FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1在跑MapReduce任务时,遇到过几次这样的错误,现整理已经踩过的坑大部分情况报这个错的原因是:使用的udf文件脚本本身有问题,避免踩坑的方法也很简单,线下单独跑一边脚本即可udf脚本没问题,问题出在脚本中需要调用配置文件,但是在MapReduce中未添加该文件名。原创 2020-08-06 13:00:16 · 600 阅读 · 0 评论 -
C++ 编译错误 variable-sized object may not be initialized
C++ 编译错误 variable-sized object may not be initializedint a = 4;int b = 5;char new_arr[a][b] = {0}; //此处会报错 variable-sized object may not be initialized// 报错:可变长的队列不能被初始化, 意思是ab都是变量,不能在申明new_arr的时候,直接初始化new_arr内的元素// 正确的做法如下int a = 4;int b = 5;cha原创 2020-07-24 11:12:39 · 9744 阅读 · 3 评论 -
json loads时编码报错问题
问题详情:json.decoder.JSONDecodeError: Invalid control character at: line 1 column 5515 (char 5514)原因:str中含有\t \n 等内容,注意不是字符"\t","\n". 所以在json检查语法的时候报错解决方法1:加入strict=False参数json.loads(f_str, strict=False)解决方法2:把\t \n ,替换掉f_str=f_str.replace('\n', ' ')f_原创 2020-07-02 12:19:43 · 1220 阅读 · 0 评论 -
Python报错too many values to unpack解决方案
对于too many values to unpack这个错误,英语学渣以为是在传参时参数太大,所以一开始方向就错了,导致大量时间浪费在参数大小调整上…一步一步debug时才发现原来是将一个dict中间变量赋值给了一个list,大致意思如下:tmp_d = {'a': 2, 'b':3}var_a, var_b = tmp_d其实问题只要发现就很好解决,重点还是方向得对,为了我浪费的一上午,特此mark...原创 2020-06-21 19:32:17 · 51397 阅读 · 4 评论 -
No handlers could be found for logger pykafka.broker 问题
链接kafka时报错:No handlers could be found for logger “pykafka.broker”背景:用的是pykafka模块。之前一直用脚本没问题,但是再写kafka的时候发现报这个。奇怪的是错误和logger相关,于是加了个import logging logging.basicConfig(level=logging.WARNING)加入log之后,发现这个问题没有出现了,其实这个就是kafka模块要通过log打出的信息无法呈现了,加不加都不影响把数据写入kaf原创 2020-05-15 22:01:53 · 609 阅读 · 0 评论 -
python处理汉字出现的ordinal not in range(128)问题
在nlp中我们总会在各种场景下处理汉字,尤其在预处理阶段。一般常见的报错为“…ordinal not in range(128)”那么常用解决方法的是以下两个:1. 在代码开头#-- coding:utf-8 --2. 使用sysimport sysreload(sys)sys.setdefaultencoding(‘utf-8’)以上两个步骤是比较常规的操作,也能解决99%场景...原创 2020-05-03 22:35:59 · 6486 阅读 · 2 评论 -
mac os xrun error
报错:xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun解决方法:xcode-select --install 安装即可...原创 2020-05-03 22:30:18 · 264 阅读 · 0 评论 -
解决MemoryError 问题的尝试方案
背景:在做nlp任务前期,尝试各种常用baseline方法的效果,然后用fix_transform加载数据时,报错MemoryError。请教了相关同事以及网上的解决方案,查到了最根本的方法:换个内存大的机器,然而我的瓶颈就是没有机器~所以从自己的特征入手,改变原来的特征拼接方法,用内积、累加等方式尝试,结果。。。所以决定从更上层来尝试——减少提取特征时的维度:1.将在样本层做处理,将多个文...原创 2020-05-03 22:27:37 · 2518 阅读 · 0 评论