- 博客(57)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【无标题】
7. **知识蒸馏**：通过将大型模型的知识转移到较小的模型上，可以在保持性能的同时减少计算资源的需求，这对于处理长文本特别有用。9. **记忆增强机制**：一些模型集成了外部记忆组件，如神经图灵机（NTM）或不同的可读写存储器，以增强其处理长序列的能力。6. **增量推理**：对于连续的文本输入，模型可以采用增量方式更新其内部状态，而不是从头开始处理每一个新的输入。4. **滑动窗口**：通过滑动窗口技术，模型可以在处理每个窗口时考虑到前后文，从而更好地理解整个文本的上下文。
2024-07-12 08:01:11
290
原创 dlib简介
Dlib is a modern C++ toolkit containing machine learning algorithms and tools for creating complex software in C++ to solve real-world problems. It is primarily used for tasks requiring pattern recognition, such as face detection, object detection, and fac
2024-07-11 08:08:45
282
原创 找到RAG最佳实践
找到RAG最佳实践》：来自复旦团队的工作，对现有的RAG方法进行了广泛的实验和分析，试图找出最有效的实践方式。他们尝试了不同的查询分类、文档检索、重排、重组、摘要等策略，并对每种策略的效果进行了评估。2、检索模式：采用混合检索方法，结合了基于BM25的稀疏检索和基于LLM-Embedder的密集检索，以及HyDE技术，以提高检索的相关性。3、重排：使用模型（如monoT5、monoBERT、RankLLaMA）对检索到的文档进行重排，以确保与查询更相关的文档排在前面。
2024-07-10 17:20:41
169
转载 Panoptic Segmentation
语义分割和实例分割。语义分割指的是将图像中的每个像素点都赋予一个类别标签()，而实例分割则需要将图像中的每个目标检测并且分割出来。当然，这也是像素级别的分割，不过仅是object的mask。可以知道，语义分割是一种共性的表示，而实例分割是个性的表征。为了从图像中清楚的将不同类别区分开，并且每个object间也都能清楚的区分开。全局分割任务被提了出来[1]，即将语义分割和实例分割结合。给定一张图片，需要将不同类别的事物区分开，这是像素级别的分类，同时同一类别的对象也需要标注单独的ID。
2024-07-01 10:38:45
21
转载 目标检测、分割、识别、分类综述
并随后增加了4个卷积层来构造网络结构。对其中5种不同的卷积层的输出feature map分别用两个不同的 3×3 的卷积核进行卷积，一个输出分类的confidence，每个default box 生成21个类别confidence；一个输出回归用的 localization，每个 default box 生成4个坐标值（x, y, w, h）。此外，这5个feature map还经过PriorBox 层生成 prior box（生成的是坐标）。
2024-06-27 12:36:05
87
原创 Feature extraction algorithms commonly used in computer vision and image processing
SIFT, HOG, and LBP are all feature extraction algorithms commonly used in computer vision and image processing. Let's take a closer look at each one:1. **SIFT (Scale-Invariant Feature Transform)**: - **Developed By**: David Lowe in 1999. - **Purpose*
2024-06-26 08:41:58
364
原创 Nemotron-4
4. **合成数据生成**：Nemotron-4系列包含基础、Instruct和Reward模型，形成一个完整的pipeline，专门用于生成高质量的合成数据，这对于那些难以获取真实数据或者涉及隐私问题的领域尤为重要，可以有效降低数据成本并加速模型迭代。7. **经济效益**：由于采用了高效的MOE（专家混合）架构，Nemotron-4相比传统Transformer模型可能展现出更高的效率和更低的运行成本，这对于企业来说，意味着在保证性能的同时，能有效控制计算资源的投入。
2024-06-26 08:27:40
440
原创 计算学习理论，VC维、PAC学习和PAC-Bayes
这一理论从概率的角度定义了学习的成功标准，即一个学习算法在有限的样本情况下，能够以高概率（Probability）学到一个近似正确（Approximately Correct）的模型，其错误率不超过一个预设的界限ε，并且这个结论对所有潜在的目标函数都成立，除了一个极小的比例δ。一个假设空间的VC维越大，表示它能拟合的函数越复杂，但同时也更容易过拟合。VC维用于量化模型复杂度，PAC学习提供了模型泛化的概率性保证，而PAC-Bayes理论则在此基础上融入了贝叶斯统计的思想，使得泛化误差的分析更加灵活和全面。
2024-06-25 16:14:30
350
原创 机器学习之监督学习
这不仅是由于在监督学习框架下面有各种各样的学习模型，如逻辑斯回归、朴素贝叶斯、支持向量机等，更是因为这个框架有着坚实的理论支撑，机器学习中的计算学习理论就是主要为监督学习服务的：这套理论以概率的方式回答了哪些问题是可学习的，学习成功的概率有多大等问题，其中比较常见的理论有VC理论、PAC理论、PAC-Bayes理论等。非概率模型指的是直接学习输入空间到输出空间的映射h，学习的过程中基本不涉及概率密度的估计，概率密度的积分等操作，问题的关键在于最优化问题的求解。于是，我们转而去找那个使得经验误差最小的假设，
2024-06-25 11:23:15
463
原创 论文解读:Pandora: 朝着结合自然语言动作与视频状态的通用世界模型发展
本文的核心目标是开发一个**通用世界模型**（General World Model），这是一个理论上的框架，能够整合广泛的知识和技能，以理解和预测世界的状态变化。论文《Pandora: 朝着结合自然语言动作与视频状态的通用世界模型发展》探索了构建一个高度集成的AI系统，旨在理解自然语言指令并在视频所代表的视觉环境中执行相应操作，从而推进对复杂动态场景的建模与预测能力。- **强化学习与交互**：可能采用强化学习方法，让AI通过与环境的交互学习最佳行为策略，逐步优化其对指令的理解和执行能力。
2024-06-21 15:37:46
235
转载 大模型日报｜8 篇必读的大模型论文 2022-6-20
二是纯解码器架构的内在位置偏差。为此，他们提出了一种新颖的随机获取策略——贝叶斯主动学习器偏好建模（BAL-PM），它不仅能根据偏好模型锁定认识不确定性高的点，还能在所采用的 LLM 所跨的特征空间中寻求获取的提示分布熵的最大化。一个突出的结果是，使用一对 1.5 亿参数的辅助模型选择 CoLoR-Filter 数据，可以训练一个 1.2b 参数的目标模型，使其与在 25b 随机选择的 token 上训练的 1.2b 参数模型相匹配，而 Books 的数据要少 25 倍，下游任务的数据要少 11 倍。
2024-06-21 14:56:20
35
原创 论文解读：Autoregressive Image Generation without Vector Quantization
3. 通用化的自回归框架：论文进一步将标准自回归模型和掩码生成模型统一到一个广义自回归框架下，展示了一种名为掩码自回归（Masked Autoregressive, MAR）的模型，它能够在随机顺序的同时预测多个输出token，保持了“基于已知预测下一个token”的自回归本质，且能无缝集成扩散损失。综上所述，这篇论文在图像生成领域提出了一个重要的创新，即通过在连续值域内直接建模自回归模型的token概率分布，有效绕过了向量量化的限制，为生成高质量图像提供了一个新的视角和方法论。
2024-06-21 11:57:48
1288
转载 大模型日报｜6 篇必读的大模型论文 2020-6-20
通过基于树搜索的强化学习，ReST-MCTS* 规避了通常用于训练过程奖励的每一步人工标注：在给定特定任务正确答案的情况下，ReST-MCTS* 能够通过估计该步骤帮助得出正确答案的概率，推断出正确的过程奖励。然而，这些进步还不能满足现实世界应用的需求，比如用于长期决策的智能体、深入的电影评论和讨论以及现场体育评论，所有这些应用都需要理解长达数小时的长视频。由于相机的移动也可以看作是一种由视角变化引起的像素重新排列，因此，如果视频中的噪声潜像发生相应的变化，就可以根据特定的相机移动对视频进行重组。
2024-06-21 11:52:46
28
原创 图像分割方法一：阈值分割
阈值分割是一种在数字图像处理中广泛使用的图像分割方法，尤其适用于那些目标与背景之间对比度明显的图像。具体来说，就是选取一个或多个阈值，然后将图像中的像素根据其灰度值与阈值的关系分为两类或多类，一类被视为前景（比如感兴趣的对象），另一类被视为背景。2. 自适应阈值法：考虑到图像中不同区域可能有不同的光照条件，自适应阈值法会根据局部区域的特性动态调整阈值。3. 多阈值分割：对于含有多个灰度级目标的图像，可能需要设定多个阈值来区分不同的目标或灰度层次。5. 分割图像：根据选定的阈值，将图像分割成前景和背景。
2024-06-21 11:11:26
455
翻译 如何配置神经网络中的层数和节点数
这种类型的网络也可以堆叠在特定的架构中以解锁新功能，例如可重复使用的图像识别模型，这个模型使用非常深的CNN和MLP网络，可以添加到新的LSTM模型并用于给照片配字幕。具体而言，万能逼近定理表明：只要有足够的隐藏节点，具有线性输出层和至少一个具有任何“压缩”激活函数（如，logistic sigmoid）的隐藏层的前馈网络可以从一个有限维空间到另一个有限维空间有任意的非零误差逼近任何波莱尔可测函数。例如，思考一下，有这一样一个模型，它使用一堆层，输入端为CNN，中间为LSTM，输出端为MLP。
2023-10-18 17:35:50
1206
转载 深入浅出学Hive
2014-04-17 16:45:59初始Hive —— 深入浅出学Hive 浏览(195788)|评论(3) 交流分类：Java|笔记分类: 深入浅出学Hive 目录：初始HiveHive安装与配置Hive 内建操作符与函数开发Hive JDBChive参数Hive 高级编程Hive QLHive
2017-07-02 21:44:37
736
转载 有赞大数据实践: 敏捷型数据仓库的构建及其应用
有赞大数据实践: 敏捷型数据仓库的构建及其应用有赞大数据实践: 敏捷型数据平台的构建及其应用前言数据仓库设计总体架构数据仓库实例基础指标层分层的好处数仓工具数据仓库与数据分析即席查询系统多维分析系统搜索分析系统固
2017-07-02 20:21:58
1904
转载 JRE 和 JDK 的区别是什么？
JRE： Java Runtime EnvironmentJDK：Java Development Kit JRE顾名思义是java运行时环境，包含了java虚拟机，java基础类库。是使用java语言编写的程序运行所需要的软件环境，是提供给想运行java程序的用户使用的。JDK顾名思义是java开发工具包，是程序员使用java语言编写java程序所需的开发工具包，是提供给程序员使用的
2017-07-02 18:33:44
794
转载 谢国忠：大数据在金融(视频+图文)
谢国忠：大数据在金融(视频+图文)2015-01-01 真友书屋 文章来源 阅 47 转 3转藏到我的图书馆微信分享：海量大数据研习社是海量信息技术有限公司发起的大数据公益沙龙。12月26日下午，在研习社第六次聚会上，谢国忠特别分享了如何在大数据应用模式和应用场景上大胆创新，以及如何快速扩充数据来源等涉及大数据
2017-07-02 13:37:28
1055
转载 招商银行吴颖：招行大数据应用经验分享
招商银行吴颖：招行大数据应用经验分享2015-02-27 haosunzhe 文章来源 阅 1753 转 18转藏到我的图书馆微信分享：该文为招商银行信息技术部数据仓库开发团队负责人吴颖在第六届中国（深圳）金融信息服务发展论坛银行保险业分论坛上的发言。很高兴今天能够有机会,跟大家分享招商银行在大数据应用
2017-07-02 13:32:23
4954
转载 Java Bean 形象解释 哈哈哈
杨博ThoughtWorks咨询师Java语言欠缺属性、事件、多重继承功能。所以，如果要在Java程序中实现一些面向对象编程的常见需求，只能手写大量胶水代码。Java Bean正是编写这套胶水代码的惯用模式或约定。这些约定包括getXxx、setXxx、isXxx、addXxxListener、XxxEvent等。遵守上述约定的类可以用于若干
2017-07-01 11:46:15
378
转载 java的三大框架是什么,功能各是什么
三大框架是用来开发web应用程序中使用的.Struts:基于MVC的充当了其中的试图层和控制器Hibernate:做持久化的,对JDBC轻量级的封装,使得我们能过面向对象的操作数据库Spring: 采用了控制反转的技术,管理Bean,降低了各层之间的耦合.
2017-07-01 11:36:25
8187
转载 ssh和ejb的区别
发布于2016-01-03 10:42SSH（Struts，Spring，Hibernate） Struts进行流程控制，Spring进行业务流转，Hibernate进行数据库操作的封装。EJB（企业级JavaBean）是一个用来构筑企业级应用的服务器端可被管理组件， 设计目标与核心应用是部署分布式应用程序。spring与ejbEJB最初的设计思想考虑的是为分布式的
2017-07-01 11:25:14
437
转载 学习SpringMVC——从HelloWorld开始
前言： 时隔十二年，中国女排最终过关斩将，用3:1的成绩证明了自己的实力，霸气夺冠，为中国赢得了一枚意义非常的金牌。这是一次全民的狂欢，一场视听盛宴，带给我们不仅是熠熠生辉的金牌，更传递出的是一种女排精神。 每每得分的时候，总能看到球员们歇斯底里的咆哮和欢呼，因为每一分都来的太不容易。 其实码农也是如此，每每解决掉一个bug的时候，内心的舒畅和激动，好似经历了没有尽头
2017-07-01 11:12:21
374
转载 第一章 Web MVC简介 —— 跟开涛学SpringMVC 博客分类： 跟开涛学SpringMVC webmvcjavaeespring跟开涛学SpringMVC Web MVC简介 1.1、We
第一章 Web MVC简介 —— 跟开涛学SpringMVC博客分类： 跟开涛学SpringMVCwebmvcjavaeespring跟开涛学SpringMVCWeb MVC简介1.1、Web开发中的请求-响应模型： 在Web世界里，具体步骤如下：1、 Web浏览器（如IE）发起请求，如访问http://sishuok.co
2017-07-01 10:56:31
667
转载 C++虚析构函数的介绍与解析
原文地址：http://blog.csdn.net/xunyn/article/details/7439276 当使用基类指针释放派生类的对象时，需要将基类的析构函数声明为virtual，这是C++的一条规范，今天花了些时间探讨了下。先构建两个类：father类 和son类，简单定义下：class Father{public: Father(void
2017-04-06 17:32:55
568
转载 浅析C++对象布局
原文地址：http://www.jianshu.com/p/060efa58875dC++这门语言，几乎每个学校在大一的时候，都会去学习。但是其内在的对象布局，以及virtual机制，我们又了解多少呢。为了仔细了解了解，前几天决定找点书来啃啃。然后就听闻网上的很多人推荐，就开始啃......但是可能是书比较老的缘故，很多说的很稳的道理，一实验就翻车了。所以，为了下次不翻车，
2017-04-06 17:14:13
387
转载 C++中的动态类型与动态绑定、虚函数、运行时多态的实现
动态类型与静态类型静态类型 是指不需要考虑表达式的执行期语义，仅分析程序文本而决定的表达式类型。静态类型仅依赖于包含表达式的程序文本的形式，而在程序运行时不会改变。通俗的讲，就是上下文无关，在编译时就可以确定其类型。动态类型 是指由一个左值表达式表示的左值所引用的最终派生对象的类型。例：如果一个静态类型为“类 B ”的指针p 指向一个继承于
2017-04-06 11:31:29
543
转载 直接插入排序
插入排序(Insertion Sort)的基本思想是：每次将一个待排序的记录，按其关键字大小插入到前面已经排好序的子文件中的适当位置，直到全部记录插入完成为止。 本节介绍两种插入排序方法：直接插入排序和希尔排序。 直接插入排序基本思想1．直接插入排序的基本思想 直接插入排序（Straight Insertion Sorting）的基本思想是：把n个待排序的元素看成为一个
2017-04-01 11:18:28
699
转载 快速排序
快速排序的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。快速排序是一种不稳定的排序算法，也就是说，多个相同的值的相对位置也许会在算法结束时产生变动快速排序是C.R.A.Hoare于1962年提出的一种划分交换排序。它采
2017-03-30 01:57:43
317
转载 堆排序原理及算法实现（最大堆）
堆排序 堆排序是利用堆的性质进行的一种选择排序。下面先讨论一下堆。1.堆 堆实际上是一棵完全二叉树，其任何一非叶节点满足性质： Key[i]=Key[2i+1]&&key>=key[2i+2] 即任何一非叶节点的关键字不大于或者不小于其左右孩子节点的关键字。 堆分为大顶堆和小顶堆，满足Key[i]>=Key[2i+1]&&key>
2017-03-20 23:23:16
393
原创 机器学习入门路线
一方面从《机器学习实战》《集体智慧编程》《推荐系统实践》等这几本更适合入门的书开始，一点点找到感觉；另一方面，从更简单的公开课，例如吴恩达在斯坦福的公开课等入手，边看边补充概率、统计和矩阵计算的知识；然后，可以看看github上的开源，例如caffe等等，看看各种算法怎么实现；另一方面，可以关注一下kaggle比赛，看看其他人是怎么玩的；等有点感觉了，看一下prml
2017-03-16 12:36:34
513
转载 hash_map介绍与使用
0 概述虽然hash_map和map都是STL的一部分，但是目前的C++标准（C++11）中只有map而没有hash_map，可以说STL只是部分包含于目前的C++标准中。主流的GNU C++和MSVC++出于编译器扩展的目的实现了hash_map，SGI有hash_map的实现，Boost也有类似于hash_map的unordered_map实现，google有dense hash_
2017-03-16 12:05:31
7127
转载 STL学习小结
STL就是Standard Template Library，标准模板库。这可能是一个历史上最令人兴奋的工具的最无聊的术语。从根本上说，STL是一些“容器”的集合，这些“容器”有list, vector,set,map等，STL也是算法和其它一些组件的集合。这里的“容器”和算法的集合指的是世界上很多聪明人很多年的杰作。是C＋＋标准库的一个重要组成部分，它由Stepanov and Lee等人最先开
2014-06-17 12:34:46
565
转载 OpenGL 纹理入门 .
OpenGL入门学习[十一]我们在前一课中，学习了简单的像素操作，这意味着我们可以使用各种各样的BMP文件来丰富程序的显示效果，于是我们的OpenGL图形程序也不再像以前总是只显示几个多边形那样单调了。——但是这还不够。虽然我们可以将像素数据按照矩形进行缩小和放大，但是还不足以满足我们的要求。例如要将一幅世界地图绘制到一个球体表面，只使用glPixelZoom这样的函数来进行缩放显然是
2013-03-14 12:57:04
905
转载 PLY文件格式
原文地址：PLY文件格式作者：土人本文转自 http://topic.csdn.net/u/20070602/13/1e879838-9133-4d79-ad1f-b5f22c4e2758.html OpenGL怎么载入Ply格式的3D模型？1.找到PLY格式的定义2.用C++的文件流读入并解析3.用OPENGL将解析的顶点，纹理显示出来。 *.ply是An
2013-02-21 11:07:13
7393
转载 Per-pixel lighting
From Wikipedia, the free encyclopediaJump to: navigation, search In computer graphics, per-pixel lighting refers to any technique for lighting an image or scene that calculates illuminat
2013-01-04 21:04:35
1231
转载 Spot Light Per Pixel
Prev: Point Light Per PixelNext: Simple Texture This tutorial is based on the previous tutorial as most of the code comes from there. The only thing new in a spot light, when compared
2013-01-04 20:56:10
780
转载 OPENGL混合 （经典）
今天介绍关于OpenGL混合的基本知识。混合是一种常用的技巧，通常可以用来实现半透明。但其实它也是十分灵活的，你可以通过不同的设置得到不同的混合结果，产生一些有趣或者奇怪的图象。混合是什么呢？混合就是把两种颜色混在一起。具体一点，就是把某一像素位置原来的颜色和将要画上去的颜色，通过某种方式混在一起，从而实现特殊的效果。假设我们需要绘制这样一个场景：透过红色的玻璃去看绿色的物体，那么可以先绘
2012-12-27 14:48:17
647
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人