- 博客(61)
- 收藏
- 关注
原创 加载Llama模型RuntimeError: “triu_tril_cuda_template“ not implemented for ‘BFloat16‘
在推理llama大模型时,原始代码如下,在加载model时,配置torch_dtype = ‘auto’
2024-07-10 15:41:38
797
原创 GET、POST介绍
而对于POST,浏览器先发送header,服务器响应100 continue,浏览器再发送data,服务器响应200(返回数据)。安全性 与 POST 相比,GET 的安全性较差,因为所发送的数据是 URL 的一部分。不可将POST链接直接在浏览器地址栏中进行请求,需要编写相应的请求代码!后退按钮/刷新 无害 数据会被重新提交(浏览器应该告知用户数据会被重新提交)。查询字符串(名称/值对)是在 POST 请求的 HTTP 消息主体中发送的。查询字符串(名称/值对)是在 GET 请求的 URL 中发送的。
2024-06-27 16:17:16
266
原创 BaiChuan13B-GPTQ量化详解
1、按照网上搜索的一些代码,如使用auto_gptq原生库进行训练后量化,可能会正常量化,但是在线推理时会出现如找不到bin文件或者tf文件,即模型权重文件,所以和网上大部分代码不同的地方在于,需要提前保存对应模型的权重文件,如果是BaiChuan13B,那么在进行模型量化前,对其进行保存。按照上述步骤,此时模型量化文件保存成功,接下来就是模型在线推理。
2024-04-18 10:16:06
987
原创 遍历字典修改值时RuntimeError: dictionary changed size during iteration
报错:RuntimeError: dictionary changed size during iteration。原因:字典不支持在遍历时进行修改值,将其改为list格式。需求:遍历data字典,将值为‘无’的键值对进行删除。
2024-03-08 11:03:20
229
原创 Runtime Error while Saving a PyTorch bin Model: “File /** Cannot Be Opened“
解决方法:需要保存的文件名字为"pytorch_model.bin"
2024-02-20 09:49:53
779
原创 ValueError: Tokenizer class BaichuanTokenizer does not exist or is not currently imported已解决
报错:ValueError: Tokenizer class BaichuanTokenizer does not exist or is not currently imported。环境:使用 AutoTokenizer 加载量化后的百川模型。添加 trust_remote_code=True。可以在量化时对 Tokenizer 进行保存。
2024-01-30 16:04:07
786
原创 Request请求OpenCV图片接口
1、得接口为:http://xxx.xxx.xxx.xx:xxxx/det/predict# 测试AutoOD接口import requestsimport base64# 读取图片文件,your_image_file.jpg为你图片路径,即传入的参数with open('your_image_file.jpg', 'rb') as f: image_data = f.read() encoded_string = base64.b64encode(image_data).dec
2024-01-11 10:03:31
394
原创 python对json读取和写入汇总
2、由于json的特殊性,写入需要格式规范,假设现在存在一个json格式数据为。此时data_json即为读取到的数据,可对其进行操作。需要将其写入到文件data.json中,代码如下。1、读取json数据。
2023-09-06 16:09:16
325
原创 查看显卡显存
gpustat -cpui用于查看当前GPU使用情况。4096为显存总大小,1228为目前使用的显存大小。2、或者在编辑器中直接安装gpustat包进行查看。
2023-09-05 17:10:41
734
原创 Python对XLSX文件进行操作
4、整合代码为:提取某一个xlsx中的一列(提取后默认list格式),后写入到新的xlsx文件中。2、得到data为全部数据,若是需要提取指定列如下。3、将提取的数据写入新的xlsx中。
2023-08-23 21:39:56
295
原创 数据预处理二(同一文件夹下多文件路径加载入list中)
1、如data文件夹下,有1-10个txt文件,需要循环遍历并对文件进行操作,不能够手动去修改路径,这时候,需要将所有路径添加到list中,进行遍历就可以。
2023-07-10 17:53:07
99
原创 Python 读取json文件
2、使用open() 打开,按照行去读取,即不针对json格式去做特定读取,且同时满足read(), readline(), readlines()操作。Python 的 strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。4、对读取的文本进行去除前尾空格操作 .strip()3、针对json格式做特定读取。
2023-07-10 17:06:28
225
原创 Python读取 .txt文件
(3)readlines() 一次性读取文本的所有内容,返回一个列表,列表每个元素代表一行。这种方法读取的文本内容,每行文本末尾都会带一个’\n’换行符。(1)read() 是最简单的一种方法,一次性读取文件的所有内容放在一个大字符串中,即存在内存中。4、针对.read(),readline()、readlines()操作。(2)readline() 每次读取一行信息,结果是一个list。2、打开操作 open() 中’r’ ‘w’ ‘a’ 的不同作用。弊:文件过大的时候,占用内存会过大。
2023-07-10 16:42:04
2541
原创 python循环多json文件并按要求写入不同json文件中
5、需要注意的地方,一般写入操作是将open()中的模式改为’w’,但是循环写入会导致最终文件中只留下最后一条数据,因为’w’在每次写入时,会清空文件中的内容,故将’w’更改为’a’,即在不清空的基础上,新增内容。场景:当前有17个被分割的json文件,现在需要将这17个文件全部按要求并入训练集和测试集文件中,条件为:如将遍历到的前20000条数据加载进训练集,其余的并入测试集。6、但是好像最后需要手动添加符号更改格式,因为加入的是纯 dict 数据,需要手动添加 ‘[]’ 和 ‘,’。
2023-07-08 11:52:41
807
原创 对json数据处理:str 转 list,for 遍历 str 时结果不如意
2、但是new_all_data_list原始数据如下,是一个list中包含字典数据,但是如果是 str 类型,当使用第一层for去遍历时,是拿不到字典数据,而是一个一个字符。1、原始数据new_all_data_list,输出其数据类型。在去使用for循环遍历即可。
2023-07-07 15:01:00
83
原创 关于json数据的写入(write())必须为str类型及写入后双引号“变为‘号问题
2、经过初步处理,对上述数据进行操作,需要去除"duoyu": "0"项,此时读取之后对值进行更改要存入另一个新的json文件中,但是读取完之后,直接使用write()写入会报错如下。问题一会造成写入的时候双引号变单引号,在新文件内需要手动调整,如果原始数据中文本存在引号可能更加麻烦。4、故使用其他方法进行写入,在写入前,进行json.dumps转换,如下。问题二:会导致后续在传值时出现报错,就…即添加ensure_ascii=False部分。1、原始json数据。
2023-07-07 11:18:03
411
原创 list去重
思路:遍历需要去重的List,判断这些值是否已经存在于另一个list,如果存在,则不append进去,如果不存在,则append进去。1、对一个list进行去重操作。
2023-07-05 17:12:30
39
原创 对json数据进行特定筛选、去重、写入、去空
目标:筛选出该数据格式list中每个字典中的sshy和zyyw数据,并赋予label和text关键字。4、最终得到的数据即为即没有空值,格式也正确的数值。1、遍历json格式数据,并从中取出对应数据。3、但是得到的数据中,有很多空值,需要剔除。
2023-07-05 11:53:04
1220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人