- 博客(46)
- 收藏
- 关注
RSS订阅
原创 当小样本遇上机器学习 fewshot learning
引言深度学习(deeplearning)已经广泛应用于各个领域，解决各类问题，例如在图像分类问题下，如图1，区分这10类目标的准确率目前可以轻松做到94%。然而，deeplearning是一种datahungry的技术，需要大量的标注样本才能发挥作用。图1 现实世界中，有很多问题是没有这么多的标注数据的，获取标注数据的成本也非常大，例如在医疗领域、安全领域等。因此，我们现在讨论的是...
2017-12-30 22:21:10
100379
46
原创 实现AI数据高效评估的一种方法
本文提出了一种新的机器学习模型训练数据影响分析框架，称为Distilled Datamodel（DDM）。在线评价阶段，则通过对synset进行微调，并结合特定的模型行为评估需求，快速构建出针对不同测试样本的影响力矩阵，有效加速了模型行为分析过程。实验结果表明，与现有方法相比，DDM不仅能够更准确地识别影响模型预测的关键训练数据点，还具备较高的计算效率和更好的隐私保护能力。此外，DDM同样适用于复杂的模型架构和多样化的机器学习任务，展示了其作为理解模型行为、提升模型可靠性和促进模型解释性研究的强大潜力。
2025-06-12 11:38:12
139
原创 如何评估单条数据对AI模型的影响
尽管估计仅针对训练集中z权重的微小变化而得出，但在实践中，它也被用作离散影响概念的合理估计，这是从训练数据集中完全添加/删除数据点的效果 [Koh和Liang，2017]。影响函数已被应用于解释预测并产生置信区间 [Schulam和Saria，2019]，调查模型偏差 [Brunet等人，2019，Wang等人，2019]，估计Shapley值 [Jia等人，2019，Ghorbani和Zou，2019]，改善人类信任 [周等人，2019]，并制作数据中毒攻击 [Koh等人，2019]。
2025-06-12 11:18:23
373
原创 AI模型的泛化性的第一性原理是什么？
AI模型中的泛化性（Generalization）指模型在未见过的数据上保持预测准确性的能力，其第一性原理（即最根本的驱动机制）可归结为模型对数据生成规律的本质性学习与复杂度控制。以下结合理论框架与实现机制展开分析：定义：泛化误差 $ R_{\text{exp}}(\hat{f}) $ 是模型 $ \hat{f} $ 在真实分布上的期望风险：Rexp(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x))P(x,y)dxdyR_{\text{exp}}(\hat{f}) = E_{P}[L(
2025-06-12 11:08:59
657
原创 大模型的幻觉怎么来的？从深度模型的OOD泛化性谈起
在训练过程中，模型需要在多个不同环境（如不同光照条件、不同用户群体）的数据上进行学习，识别那些在不同环境中保持稳定预测能力的特征。分布外泛化（Out-of-Distribution Generalization，OOD泛化）作为机器学习领域的重要研究方向，其理论支撑已经从传统的独立同分布（i.i.d.）假设发展为更加深入的因果科学框架。其中，R(h)是模型h的真实风险（泛化误差），Remp(h)是经验风险（训练误差），ξ是与模型复杂度d、样本量N和置信度δδ相关的函数。
2025-06-11 16:47:27
571
原创 用图卷积来建模视频
图卷积被多个领域广泛关注，本文介绍下我在ECCV2018年上的一个工作，用图卷积来建模视频：Hierarchical Video Frame Sequence Representation with Deep Convolutional Graph Network，希望能做视频建模的带来些思路。如何对视频进行建模呢？也就是如何用一个或多个向量表达一个视频呢？视频指纹算是一种通用的特征，它一...
2019-06-02 19:46:00
1821
8
原创 ECCV2018
两年一度的计算机视觉顶级会议马上要召开了，地点在德国慕尼黑。期待。。。。求同行的伙伴 ……^ _ ^https://eccv2018.org/
2018-08-24 22:57:22
2155
2
原创 视频特征
inflattenDevNet A deep event network for multimedia event detection and evidence recounting. TSN https://arxiv.org/pdf/1608.00859.pdfattention https://arxiv.org/pdf/1708.03805.pdfDepthwise separable c...
2018-02-11 11:49:56
1839
原创 敏捷开发
比迭代更好的是持续交付，可以获得更多的价值。我们对项目的认识是不断增长的，越往后越多用户反馈，技术环境、市场环境是不断变化的我们需要增量地做决策，更快（早）地交付价值和灵活地响应变化。
2018-01-14 17:30:09
404
原创 tensorflow编程一些需要知道的 - 5 实现logistic分类器
tensorflow logistic classificationtensorflow 实现逻辑回归
2017-06-30 16:14:23
2060
原创 tensorflow编程一些需要知道的 - 4
训练1024维特征的数据集合，multi-label， 转成多个1的onehot的label, 2个全连接。很直接的顺序编程，练习、便于理解
2017-03-30 14:58:44
1210
原创 tensorflow编程一些需要知道的 - 3
做训练时，我们往往要处理大批量的数据，这时如果有个可以异步读取的方式，那么处理程序会更加灵活和高效。FIFOQueue 、RandomShuffleQueue 便是tensorflow提供的一些通过队列来做异步数据存取的方法，并且它是多线程的（tf.Session对象就是多线程的）。这个框架如下图由于整个程序是多线程的，因此我们可以在同一个session里并行跑多个op
2017-02-03 14:41:51
3406
原创 tensorflow编程一些需要知道的 - 2
当我们正在开发一个较复杂的大工程时，提高编程效率和运行效率会成为需求，我们可以通过作用域，以及共享变量来实现这点
2017-01-29 20:26:39
698
原创 用tensorflow画ROC曲线
1. 先准备好你的数据文件，csv格式，该文件共3列，第一列是数据id，第2列是预测分数（0到1），第3列是数据的label（0或1）2. 运行下面的python程序：python tf_roc.py /tmp/predict_label.csv 200 /tmp/tb_roc3. 其中第2个参数200表示画ROC曲线的精度，越大，曲线越精细。4. 启动tensorboard： ten
2017-01-25 21:39:44
17286
2
原创 深度学习如何设置学习率
学习率是深度学习中的一个重要的超参，如何调整学习率是训练出好模型的关键要素之一。在通过SGD求解问题的极小值时，梯度不能太大，也不能太小。太大容易出现超调现象，即在极值点两端不断发散，或是剧烈震荡，总之随着迭代次数增大loss没有减小的趋势；太小会导致无法快速地找到好的下降的方向，随着迭代次数增大loss基本不变。学习率调整方法基本上有两种1. 基于经验的手动调整。 通过尝
2016-10-23 16:33:03
40201
8
原创 残差resnet网络原理详解
resnet在2015名声大噪，而且影响了2016年DL在学术界和工业界的发展方向。它对每层的输入做一个reference, 学习形成残差函数， 而不是学习一些没有reference的函数。这种残差函数更容易优化，能使网络层数大大加深。
2016-10-04 16:47:50
318177
47
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人