- 博客(61)
- 收藏
- 关注
RSS订阅原创 加载Llama模型RuntimeError: “triu_tril_cuda_template“ not implemented for ‘BFloat16‘
在推理llama大模型时，原始代码如下，在加载model时，配置torch_dtype = ‘auto’
2024-07-10 15:41:38
797
原创 GET、POST介绍
而对于POST，浏览器先发送header，服务器响应100 continue，浏览器再发送data，服务器响应200（返回数据）。安全性 与 POST 相比，GET 的安全性较差，因为所发送的数据是 URL 的一部分。不可将POST链接直接在浏览器地址栏中进行请求，需要编写相应的请求代码！后退按钮/刷新 无害 数据会被重新提交（浏览器应该告知用户数据会被重新提交）。查询字符串（名称/值对）是在 POST 请求的 HTTP 消息主体中发送的。查询字符串（名称/值对）是在 GET 请求的 URL 中发送的。
2024-06-27 16:17:16
266
原创 BaiChuan13B-GPTQ量化详解
1、按照网上搜索的一些代码，如使用auto_gptq原生库进行训练后量化，可能会正常量化，但是在线推理时会出现如找不到bin文件或者tf文件，即模型权重文件，所以和网上大部分代码不同的地方在于，需要提前保存对应模型的权重文件，如果是BaiChuan13B，那么在进行模型量化前，对其进行保存。按照上述步骤，此时模型量化文件保存成功，接下来就是模型在线推理。
2024-04-18 10:16:06
987
原创 遍历字典修改值时RuntimeError: dictionary changed size during iteration
报错：RuntimeError: dictionary changed size during iteration。原因：字典不支持在遍历时进行修改值，将其改为list格式。需求：遍历data字典，将值为‘无’的键值对进行删除。
2024-03-08 11:03:20
229
原创 Runtime Error while Saving a PyTorch bin Model: “File /** Cannot Be Opened“
解决方法：需要保存的文件名字为"pytorch_model.bin"
2024-02-20 09:49:53
779
原创 ValueError: Tokenizer class BaichuanTokenizer does not exist or is not currently imported已解决
报错：ValueError: Tokenizer class BaichuanTokenizer does not exist or is not currently imported。环境：使用 AutoTokenizer 加载量化后的百川模型。添加 trust_remote_code=True。可以在量化时对 Tokenizer 进行保存。
2024-01-30 16:04:07
786
原创 Request请求OpenCV图片接口
1、得接口为：http://xxx.xxx.xxx.xx:xxxx/det/predict# 测试AutoOD接口import requestsimport base64# 读取图片文件，your_image_file.jpg为你图片路径，即传入的参数with open('your_image_file.jpg', 'rb') as f: image_data = f.read() encoded_string = base64.b64encode(image_data).dec
2024-01-11 10:03:31
394
原创 python对json读取和写入汇总
2、由于json的特殊性，写入需要格式规范，假设现在存在一个json格式数据为。此时data_json即为读取到的数据，可对其进行操作。需要将其写入到文件data.json中，代码如下。1、读取json数据。
2023-09-06 16:09:16
325
原创 查看显卡显存
gpustat -cpui用于查看当前GPU使用情况。4096为显存总大小，1228为目前使用的显存大小。2、或者在编辑器中直接安装gpustat包进行查看。
2023-09-05 17:10:41
734
原创 Python对XLSX文件进行操作
4、整合代码为：提取某一个xlsx中的一列（提取后默认list格式），后写入到新的xlsx文件中。2、得到data为全部数据，若是需要提取指定列如下。3、将提取的数据写入新的xlsx中。
2023-08-23 21:39:56
295
原创 数据预处理二（同一文件夹下多文件路径加载入list中）
1、如data文件夹下，有1-10个txt文件，需要循环遍历并对文件进行操作，不能够手动去修改路径，这时候，需要将所有路径添加到list中，进行遍历就可以。
2023-07-10 17:53:07
99
原创 Python 读取json文件
2、使用open() 打开，按照行去读取，即不针对json格式去做特定读取，且同时满足read(), readline(), readlines()操作。Python 的 strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。4、对读取的文本进行去除前尾空格操作 .strip()3、针对json格式做特定读取。
2023-07-10 17:06:28
225
原创 Python读取 .txt文件
（3）readlines() 一次性读取文本的所有内容，返回一个列表，列表每个元素代表一行。这种方法读取的文本内容，每行文本末尾都会带一个’\n’换行符。（1）read() 是最简单的一种方法，一次性读取文件的所有内容放在一个大字符串中，即存在内存中。4、针对.read()，readline()、readlines()操作。（2）readline() 每次读取一行信息，结果是一个list。2、打开操作 open() 中’r’ ‘w’ ‘a’ 的不同作用。弊：文件过大的时候，占用内存会过大。
2023-07-10 16:42:04
2541
原创 python循环多json文件并按要求写入不同json文件中
5、需要注意的地方，一般写入操作是将open()中的模式改为’w’，但是循环写入会导致最终文件中只留下最后一条数据，因为’w’在每次写入时，会清空文件中的内容，故将’w’更改为’a’，即在不清空的基础上，新增内容。场景：当前有17个被分割的json文件，现在需要将这17个文件全部按要求并入训练集和测试集文件中，条件为：如将遍历到的前20000条数据加载进训练集，其余的并入测试集。6、但是好像最后需要手动添加符号更改格式，因为加入的是纯 dict 数据，需要手动添加 ‘[]’ 和 ‘,’。
2023-07-08 11:52:41
807
原创 对json数据处理：str 转 list，for 遍历 str 时结果不如意
2、但是new_all_data_list原始数据如下，是一个list中包含字典数据，但是如果是 str 类型，当使用第一层for去遍历时，是拿不到字典数据，而是一个一个字符。1、原始数据new_all_data_list，输出其数据类型。在去使用for循环遍历即可。
2023-07-07 15:01:00
83
原创 关于json数据的写入（write()）必须为str类型及写入后双引号“变为‘号问题
2、经过初步处理，对上述数据进行操作，需要去除"duoyu": "0"项，此时读取之后对值进行更改要存入另一个新的json文件中，但是读取完之后，直接使用write()写入会报错如下。问题一会造成写入的时候双引号变单引号，在新文件内需要手动调整，如果原始数据中文本存在引号可能更加麻烦。4、故使用其他方法进行写入，在写入前，进行json.dumps转换，如下。问题二：会导致后续在传值时出现报错，就…即添加ensure_ascii=False部分。1、原始json数据。
2023-07-07 11:18:03
411
原创 list去重
思路：遍历需要去重的List，判断这些值是否已经存在于另一个list，如果存在，则不append进去，如果不存在，则append进去。1、对一个list进行去重操作。
2023-07-05 17:12:30
39
原创 对json数据进行特定筛选、去重、写入、去空
目标：筛选出该数据格式list中每个字典中的sshy和zyyw数据，并赋予label和text关键字。4、最终得到的数据即为即没有空值，格式也正确的数值。1、遍历json格式数据，并从中取出对应数据。3、但是得到的数据中，有很多空值，需要剔除。
2023-07-05 11:53:04
1220
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人