Conformal Prediction

已于 2024-06-30 13:13:38 修改
阅读量149 收藏
点赞数 3
文章标签： 大语言模型 共形预测 不确定性估计
于 2024-06-30 13:13:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Falcont/article/details/140079604
版权

1 A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2 Language Models with Conformal Factuality Guarantees

在这里插入图片描述
在这里插入图片描述

FoerKent
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access
c_cpp_csharp的专栏
05-19 24
这项研究旨在解决在没有logit访问的情况下量化大型语言模型（LLM）中的不确定性这一普遍挑战。共形预测（CP）以其模型不可知和无分布的特性而闻名，是各种LLM和数据分布所需的方法。然而，LLM的现有CP方法通常假定可以访问logits，而这对于某些仅限API的LLM是不可用的。此外，已知logits校准错误，可能导致CP性能下降。为了应对这些挑战，我们引入了一种新的CP方法，该方法（1）适用于没有logitaccess的单API LLM；（2） 最小化预测集的大小；
Simply-Conformal-Prediction:这是保形预测算法和分类归纳版本的简单实现
06-19
简单保形预测##About 这是保形预测算法（ConfPred 函数）和归纳版本（IndConfPred 函数）的简单实现，用于使用不... ##About Conformal Prediction##作者 Luciano Giuseppe、 和 - [萨勒诺大学] ( ) 2015 ##谢谢教授
探索未来：Conformal Prediction——预测与验证的新维度
gitblog_00095的博客
04-16 824
探索未来：Conformal Prediction——预测与验证的新维度 项目地址:https://gitcode.com/aangelopoulos/conformal-prediction 项目链接 在数据科学和机器学习领域，准确的预测是核心任务之一。然而，传统的预测模型往往忽视了不确定性，而Conformal Prediction项目则为这一问题提供了一种全新的解决方案。它基于统计学和数学理...
探索Awesome Conformal Prediction：预测模型的新纪元
gitblog_00044的博客
03-22 494
探索Awesome Conformal Prediction：预测模型的新纪元 项目地址:https://gitcode.com/valeman/awesome-conformal-prediction 在机器学习和数据科学的前沿，我们经常追求更准确、更可靠的预测方法。Awesome Conformal Prediction 是一个精心整理的资源集合，旨在为研究人员和开发人员提供有关非参数Conf...
检测恶意软件分类模型中的概念漂移
qq_41641505的博客
11-12 3145
Transcend使用两种技术来评估算法在给定数据集上的质量:(i)决策评估——评估算法做出的预测的鲁棒性;Alpha评价—评价不符合措施的质量。我们将这些评估结合起来，以检测概念漂移。
Conformal Prediction for Time Series with Modern Hopfield Networks
weixin_45731480的博客
06-19 25
为了量化不确定性，共形预测方法越来越受到人们的关注，并已成功应用于各个领域。然而，它们很难应用于时间序列，因为时间序列的自相关结构违反了共形预测所需的基本假设。我们提出了 HopCPT，一种新颖的时间序列保形预测方法，它不仅可以处理时间结构，而且可以利用它们。我们表明，我们的方法在理论上对于存在时间依赖性的时间序列是合理的。在实验中，我们证明我们的新方法在来自四个不同领域的多个真实世界时间序列数据集上优于最先进的保形预测方法。提示：以下是本篇文章正文内容。
【论文阅读笔记】RISE: Robust Wireless Sensing Using Probabilistic and Statistical Assessments
qq_37442049的博客
11-05 1104
RISE: Robust Wireless Sensing using Probabilistic 翟双娇 MobiCom 2021 阅读于 2021.11.04 ABSTRACT 无线感知存在的问题：感知鲁棒性和性能容易收到环境变化的影响 RISE：提高基于学习的无线感知在环境变化时的感知鲁棒性和精度 RISE结果：在11种感知方法上进行评估，识别潜在的错误分类精度为92%，有助于感知技术在动态环境下保持性能 INTRODUCTION 无线信号，WiFi、RFI
增量学习(Incremental Learning)小综述
机器学习算法那些事
02-27 7680
NewBeeNLP公众号原创出品公众号专栏作者@Maple小七北京邮电大学·模式识别与智能系统1. 增量学习的概念1.1 什么是增量学习人类有终身不断获取、调整和...
AMiner会议论文推荐第四十七期
AI_Conf的博客
03-15 194
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 ICLR 2021 论文推荐 Uncertainty Sets for Image Classifiers using Conforma.
7、Deep Learning for Solar Power Forecasting – An Approach Using Autoencoder and LSTM Neural Networks
qq_34514046的博客
09-01 871
深度学习太阳能预测 - 这些算法的组合显示了他们的预测强度与标准MLP和物理预测模型相比在预测21个太阳能发电厂的能源产量。 •为a创建数值天气预报（NWP）某些时间范围和使用物理的某个位置天气预报模型。 •基于此NWP，预测算法可预测未来发电用于某种再生能源发电机。 在这项工作中，我们分析了物理预测 模型，多层感知器，长短期记忆网络（LSTM），深度信任网络和自动编码器 例如Auto...
conformal mapping
04-13
单连通区域的数值保角变换计算法。保角变换是复分析中非常重要的理论之一
conformal_classification:PyTorch分类器的包装程序，可使其输出预测集。 从理论上保证这些集合包含真实类的可能性很高
05-10
title={Uncertainty Sets for Image Classifiers using Conformal Prediction}, author={Angelopoulos, Anastasios N and Bates, Stephen and Malik, Jitendra and Jordan, Michael I}, journal={arXiv preprint ...
Conformal ECO 流程.ppt
08-09
Conformal ECO 流程 Conformal ECO 流程是 Encounter Conformal ECO 提供对网表的功能ECO，需要独立的ECO license。该流程主要包括五个部分：基本流程、常用命令介绍、实例分析、综合网表ECO、Postlayout 网表ECO。...
Conformal-WN.pdf
06-02
What’s New in Encounter Conformal Product Version 14.1 May 2014
2024-2025-1学期选课第一轮停开课程.xlsx
最新发布
07-09
2024-2025-1学期选课第一轮停开课程.xlsx
人工智能and-linearlayer-test.m
07-09
人工智能and_linearlayer_test.m
住房公积金缴存基数确认调整承诺函.doc
07-09
住房公积金缴存基数确认调整承诺函
图像分类的深度学习论文demo重现
07-09
项目介绍 本项目通过实现一个卷积神经网络来进行图像分类，并复现相关论文的实验结果。项目展示了深度学习模型的构建、训练、评估与可视化的全过程。该项目不仅适合作为入门教程，也可用于学习如何实现和优化深度学习模型。
请使用Python实现以下代码：Use the first 100 rows as training data to construct 90%, 80%, 60% prediction intervals for waiting time for the remaining 172 data trough conformal prediction. Is your prediction correct 90%, 80%, 60% of the time? (Use any nonconformity measure you like.)
05-30
这个问题需要使用到非参数置信度算法，例如Conformal Prediction或Transductive Conformal Prediction。下面是一个使用Transductive Conformal Prediction的Python实现： ```python import numpy as np import pandas as pd from sklearn.neighbors import NearestNeighbors from sklearn.linear_model import LinearRegression from nonconformist.tc import TcpClassifier from nonconformist.nc import MarginErrFunc # 读取数据集 data = pd.read_csv('data.csv') # 划分训练集和测试集 train_data = data[:100] test_data = data[100:] # 训练模型 model = LinearRegression() model.fit(train_data[['X']], train_data[['Y']]) # 计算测试集的预测值和非符合性 X_test = test_data[['X']].values y_test = test_data[['Y']].values predictions = model.predict(X_test) errors = np.abs(predictions - y_test) # 计算最近邻 k = 5 nbrs = NearestNeighbors(n_neighbors=k, algorithm='ball_tree').fit(X_test) distances, indices = nbrs.kneighbors(X_test) # 使用Transductive Conformal Prediction构造置信区间 tcp = TcpClassifier(MarginErrFunc(), k=k) tcp.fit(X_test, y_test, indices, distances) interval90 = tcp.predict(X_test, significance=0.1) interval80 = tcp.predict(X_test, significance=0.2) interval60 = tcp.predict(X_test, significance=0.4) # 计算正确率 correct90 = 0 correct80 = 0 correct60 = 0 for i in range(len(X_test)): if y_test[i] >= interval90[i][0] and y_test[i] <= interval90[i][1]: correct90 += 1 if y_test[i] >= interval80[i][0] and y_test[i] <= interval80[i][1]: correct80 += 1 if y_test[i] >= interval60[i][0] and y_test[i] <= interval60[i][1]: correct60 += 1 accuracy90 = correct90 / len(X_test) accuracy80 = correct80 / len(X_test) accuracy60 = correct60 / len(X_test) print('90% prediction interval accuracy:', accuracy90) print('80% prediction interval accuracy:', accuracy80) print('60% prediction interval accuracy:', accuracy60) ``` 这个实现使用了scikit-learn和nonconformist库来进行Transductive Conformal Prediction，它可以计算测试集的预测值和非符合性，计算最近邻，并使用Transductive Conformal Prediction构造置信区间。最后，它计算正确率并输出结果。请注意，这个实现可能需要额外的库函数，你可以使用 pip 命令来安装它们。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值