- 博客(14)
- 收藏
- 关注
原创 CMU15445 2022笔记(并发、多线程 & 聚集与排序)
1、blocking OS mutex(阻塞式的操作系统锁):不能应对大规模的多线程并发,如果一个线程进来锁住了一个变量,另一个线程会检查这个变量,然后这个线程会直接进入内核态然后进行sleep等待解锁将其唤醒。观察:不管怎么操作第一步就是锁根节点,B+树还支持叶子节点的扫描,但是B+树不支持死锁检测,因此需要自己设定一些规则,比如只支持从小到大的索引。若数据不大,都在内存之中则可以直接用之前数据结构中的排序算法进行,但是若数据很大,则难以将其全部存在内存中去,就需要用到其他的算法。一列K/V进行排序。
2024-07-12 16:07:44
1131
原创 CMU15445 2022 笔记(Hash table & B++ Tree)
一个父节点有m个子节点,每个节点有m/2 -1 到 m-1个数据,上层只是一个索引,最终的数据都在最下层,可以通过上层的索引进行查找,节点中也是一堆k/v,其中k是我们要索引的值,v的话分为中间节点(下一层孩子的地址)和叶子节点(行id或行地址)设计哈希表的问题:1、hash 函数,哈希函数速度快则容易碰撞 2、原始静态哈希表不能处理碰撞,小表和大表的权衡,小表意味着更加频繁的碰撞,就需要额外的查找和插入操作。B++树的插入,删除:要找到数据,并观察操作之后的数据,如果太少了就要与其他的数据进行合并;
2024-07-11 09:23:23
1081
原创 cmu15445 存储引擎 and Buffer Pools
一块数据(元组,索引,日志)hardware page(磁盘中的页,通常4k)OS page(操作系统的页,通常4k)database page(512b-16k),小的数据库做事务性的任务(按行存(插入更新很快,但是如果要扫描一整列则开销很大)的数据更适合事务性,这些行组成一个page),大的数据仓库做分析。而加载的时候则是分批次进行加载,需要哪一块的内容则将哪一块的对应的page加载到memory之中。从磁盘缓存的页的放置策略,全局策略(统一安排缓存的页),本地策略(对每个页都进行不同的安排)
2024-07-10 15:03:27
1329
原创 类和数据抽象
类与类之间的关系:包含关系:一个类由多个部件类构成,即一个类的成员属性是另一个已经定义好的类使用关系:一个类使用另外一个类,通过友元或者是传递参数的方式实现继承关系:关系具有传递性继承的概念:一个类继承了另一个类的属性和方法,新类包含了上一个类的属性和方法,被称为子类或者派生类子类有父类的方法,也可以有父类没有的方法和属性权限:public,protected,private一个类里面的数据成员是另一个类的对象,即内嵌其他类的对象作为自己的成员;
2024-06-18 09:29:20
457
原创 显著性:Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection
1.CNNs在建模自模态和跨模态的全局长程依赖方面仍然存在不足,因此提出了CNNs辅助Transformer的架构,并提出了一种新颖的RGBD SOD网络,具有点感知交互和CNN诱导细化( PICR-Net )。2.考虑到RGB模态和深度模态之间的先验相关性,设计了注意力触发的跨模态点感知交互( CmPI )模块,以探索具有位置约束的不同模态的特征交互。
2024-06-14 17:02:41
1035
原创 显著性目标检测(弱监督):Mutual Information Regularization for Weakly-supervised
1.针对所包含的噪声信息,提出对潜在噪声进行深度校准,并引入交叉参考模块将校准后的深度与RGB特征进行融合2.用深度图的几何先验构建深度分解模块过滤RGB图像中的噪声3.在相同的目标下,备选策略通常涉及一个辅助的深度估计模块或通过自监督学习的精化模块来实现几何信息的更好利用4.图像监督提供粗略的前景定位,突出目标的判别性区域,涂鸦监督则更加精确且稀疏5.互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。
2024-06-13 20:21:47
900
原创 C++基础
1.智能指针:管理指针,避免申请的空间忘记释放,防止内存1.1 unique_ptr:保证同一时间智能有一个智能指针指向该对象,避免资源泄漏。 1.2 shared_ptr(共享型,强引用):多个智能指针可以指向相同对象,最后一个引用销毁时释放资源,使用use_count查看被引个数。解决了独占性,但是相互引用会导致锁死。 1.3 weak_ptr(弱引用):解决两个强引用导致的死锁问题,将其一替换。2.内存分配2.1 栈:编译器管理,存局部变量和函数参数 2.2 堆:由程序员自己开辟和
2024-06-11 10:02:20
625
原创 操作系统学习笔记01
同一进程中有多个线程,所有线程共享进程的内存空间,进程的所有全局变量都会被线程共享,但线程被CPU调用顺序不可控,所以需要注意对临界资源的访问。虽然线程有安全隐患,线程:是资源调度的基本单位,是程序执行的基本单位,是轻量级的进程。预编译(#开头的指令,展开宏定义,处理条件预编译指令,删除注释,保留#pragma编译指令,添加行号表示便于输出,替换#include编译指令为其中的文件内容)无名管道(内存文件):管道是半双工的通信方式,数据只能单向流动,且只能在具有亲缘关系(父子进程)的进程之间使用。
2024-05-20 16:11:05
909
原创 MIT 6.824 学习笔记01
所以,如果你有了10TB的网页数据,你只需要将它们写入到GFS,甚至你写入的时候是作为一个大文件写入的,GFS会自动将这个大文件拆分成64MB的块,并将这些块平均的分布在所有的GFS服务器之上,而这是极好的,这正是我们所需要的。但是,我们可以确定的是,为了收集所有特定key的输出,并将它们传递给某个机器的Reduce函数,还是需要网络通信。如果随机的选择MapReduce的worker服务器和GFS服务器,那么至少有一半的机会,它们之间的通信需要经过root交换机,而这个root交换机的吞吐量总是固定的。
2024-05-16 11:04:44
1344
原创 显著性:Mutual Information Regularization for Weakly-supervised (2023-一区-弱监督)
2.以互信息最小化作为正则化器的渐进预测精化-----首先使用基于最小生成树的在线预测精华技术--树能量损失从而获得结构精化预测;3.第二阶段预测精细化通过多模态变分自编码器---然后,为了充分挖掘多模态数据对弱监督学习任务的贡献,我们提出了基于互信息正则化的多模态互信息最小化,实现了去纠缠表示学习,以充分挖掘每个模态对RGB - D显著性检测的贡献。---》通过树能量损失和基于注意力的融合模块在训练过程中进一步细化初始预测---》互信息上界进行互信息最小化---》多模态变分自编码器的预测精化策略。
2024-05-16 08:22:46
341
原创 Specificity-preserving RGB-D Saliency Detection(ICCV-2022)
3.为了有效地融合共享学习网络中的跨模态特征,我们提出了一种交叉增强集成模块( CIM ),然后将融合后的特征传播到下一层,用于集成跨层信息。此外,为了捕获丰富的互补多模态信息以提高SOD性能,我们提出了多模态特征聚合( MFA )模块,将每个单独解码器中的模式特异性特征集成到共享解码器中。学习他们的共享表示 可以通过交叉增强的特征学习有效地利用两个模态之间地相关性,并通过自适应地加权不同特征表示来进行融合,同时将融合之后的特征传输到下一层。特征集成,利用模式特异性的两个特征来增强gsm。
2024-05-14 16:16:51
538
1
原创 RGBD Salient Object Detection via Disentangled Cross-Modal Fusion(2020)阅读学习记录(自用)
1.当前的困难:光照和背景(与显著性目标相似)2.利用先验知识构建各种RGBD的描述符号,或者是利用深度神经网络设计更多样的多模态融合模块。3.手工特征会限制泛化能力,因此使用深度卷积网络去提取特征,早期融合、晚期融合、多尺度融合。4.融合路径多样化,将中间层和深层跨模态特征分开融合。5.设计了一种渐进式的融合路径,在每个层次中涉及到跨模态的组合。6.增加一条自下而上的路径,与自上而下的路径共同作用,补充组合通道。
2024-05-13 10:43:02
1191
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅