自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

weixin_52964227的博客

原创 cvalues

dataset = load_dataset("数据集名称", "cvalues_responsibility")# 加载数据集并保存为jsonl格式。

2025-12-24 15:58:36 103 2

===================== 配置项（根据你的环境修改）=====================echo -e "\033[32m===== 3. 生成OpenCompass配置文件 =====\033[0m"echo -e "\033[32m===== 2. 数据预处理 =====\033[0m"echo -e "\033[32m===== 1. 环境检查 =====\033[0m"echo -e "\033[32m===== 4. 启动评测 =====\033[0m"

2025-12-24 09:33:10 370 1

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

helloword-123

博客等级

码龄6年

2
原创

5
点赞

5
收藏

1
粉丝

关注

私信

最新评论

XStoryCloze脚本
helloword-123: conda deactivate && pkill -f conda conda init --reverse --all rm -rf ~/miniconda3 rm -rf ~/.condarc ~/.conda ~/.continuum source ~/.bashrc echo "卸载完成，请重启终端后输入conda验证"
cvalues
helloword-123: import json import argparse import csv import os def load_jsonl(file_path): """加载jsonl文件""" data = [] with open(file_path, "r", encoding="utf-8") as f: for line in f: line = line.strip() if line: data.append(json.loads(line)) return data def evaluate_cvalues(data): """执行CValues测评逻辑""" total_cnt = len(data) correct_cnt = 0 refuse_cnt = 0 other_cnt = 0 need_check_cnt = 0 pred_cnt = total_cnt # 默认识别所有样本为有效预测 # 模拟原测评的判定逻辑（需根据实际测评规则调整，此处为通用示例） sample_results = [] for idx, sample in enumerate(data): is_correct = sample.get("is_correct", False) # 假设jsonl含is_correct字段 if is_correct: correct_cnt += 1 # 可根据实际规则补充refuse/other/need_check的判定 sample_results.append({ "sample_id": idx, "prompt": sample.get("prompt", ""), "response": sample.get("response", ""), "is_correct": is_correct }) acc = correct_cnt / total_cnt if total_cnt > 0 else 0 return { "total_cnt": total_cnt, "correct_cnt": correct_cnt, "pred_cnt": pred_cnt, "refuse_cnt": refuse_cnt, "other_cnt": other_cnt, "need_check_cnt": need_check_cnt, "acc": acc, "sample_results": sample_results } def save_to_csv(eval_result, csv_path): """将测评结果保存为CSV""" # 写入整体统计 with open(csv_path, "w", newline="", encoding="utf-8-sig") as f: writer = csv.writer(f) # 统计信息行 writer.writerow(["=== 整体测评统计 ==="]) writer.writerow(["统计项", "数值"]) writer.writerow(["总样本数", eval_result["total_cnt"]]) writer.writerow(["正确数", eval_result["correct_cnt"]]) writer.writerow(["预测数", eval_result["pred_cnt"]]) writer.writerow(["拒绝数", eval_result["refuse_cnt"]]) writer.writerow(["其他数", eval_result["other_cnt"]]) writer.writerow(["需核查数", eval_result["need_check_cnt"]]) writer.writerow(["准确率", round(eval_result["acc"], 6)]) writer.writerow([]) # 空行分隔 # 单样本详细结果 writer.writerow(["=== 单样本测评结果 ==="]) writer.writerow(["样本ID", "Prompt", "模型回复", "是否正确"]) for sample in eval_result["sample_results"]: writer.writerow([ sample["sample_id"], sample["prompt"], sample["response"], "是" if sample["is_correct"] else "否" ]) print(f"测评结果已保存至CSV文件：{os.path.abspath(csv_path)}") def main(): parser = argparse.ArgumentParser() parser.add_argument("--input_file", required=True, help="模型预测结果的jsonl文件路径") parser.add_argument("--evaluator", default="chatgpt", help="评估器类型") args = parser.parse_args() # 加载数据 print(f"Loading data from {args.input_file}...") data = load_jsonl(args.input_file) print(f"Total samples loaded: {len(data)}") # 执行测评 eval_result = evaluate_cvalues(data) # 打印终端结果 print("\n=== 测评结果 ===") print(f"total_cnt: {eval_result['total_cnt']}") print(f"correct_cnt: {eval_result['correct_cnt']}") print(f"acc: {round(eval_result['acc'], 6)}") print(f"refuse_cnt: {eval_result['refuse_cnt']}") print(f"need_check_cnt: {eval_result['need_check_cnt']}") # 保存为CSV csv_path = "cvalues_eval_result.csv" save_to_csv(eval_result, csv_path) if __name__ == "__main__": main()
cvalues
helloword-123: python cvalues_eval.py --input_file "./data/cvalues_responsibility_mc_eval_from_chatgpt.jsonl" --evaluator "chatgpt"

提示

确定要删除当前文章？

取消删除

原创 cvalues

原创 XStoryCloze脚本

空空如也

空空如也