- 博客(63)
- 收藏
- 关注
RSS订阅原创 阅读分享-博士毕业求职（高校vs.私企），田渊栋-《远东轶事》，自动驾驶求职
文章-博士毕业，高校青椒还是30万年薪私企？推文链接田渊栋-知乎《远东轶事》专栏专栏链接自动驾驶求职推文链接黑色高亮重点工业界自动驾驶分级自动驾驶赛道分类：（1）辅助驾驶， L2-L3能够量产落地，目前市面上见的最多的自动驾驶系统相关公司：造车新势力（特斯拉、蔚来、小鹏、理想、小米等）、提供软硬件系统的Tier1科技公司（大疆、华为等）（2）无人出租车，robotaxi，复杂城市L4目前研发阶段，尚未大规模量产落地由于Robotaxi的市场空间巨大（高达10万亿），一旦能量产
2022-04-13 10:34:16
3031
原创 常用工程技术积累-（6）
删除anaconda环境命令conda env remove –n (虚拟环境名字) --all清楚conda环境占用的不需要的安装包参考链接1linux查看进程号ps -efLinux查看磁盘空间df -ithpytorch str转float，通过map函数参考链接2output_string = list(map(eval, input_string))torch tensor相关操作torch.pow()torch.sum()torch.nn.functional
2022-04-13 10:08:18
1357
原创 基础算法刷题笔记(5)
取前K个高频词class Word:def __init__(self, word, cnt): self.word = word self.cnt = cntdef __lt__(self, other): # True: self比other先淘汰 if self.cnt > other.cnt: # freq小的先弹出 return False elif self.cnt < other.cnt: return T
2022-04-06 21:06:32
1001
原创 常用工程技术积累-（5）
神经网络的logits参考资料1logits就是最终的全连接层的输出(在未经过softmax之前的，就是未归一化的概率)Pytorch踩坑记：赋值、浅拷贝、深拷贝三者的区别以及model.state_dict()和model.load_state_dict()的坑点参考链接2对python直接赋值、浅拷贝和深度拷贝也要了解python中view和pytorch的view和view_as参考资料3pytorch保存模型python三元表达式i = 5 if a > 7 else
2022-04-06 21:02:15
1251
原创 阅读分享——李开复老师《开工愉快：如何保持每天精力充沛》
事情很多，工作量和强度很高的情况下，如何保持精力充沛？主动休息：交替工作，主动掌握工作和休息的节奏（小步快跑，少量多次）动脑休息：采用中低耗能的模式，去做一些跟日常工作不同的事情，激活大脑不同的运转模式（齐头并进），问题库（关怀历史、文化、美食、旅行的纪录片）黄金时间，投入精力，动脑，动手去探索，一些日常不会做的事情。你可以把它当成生活的后花园。设定边界：明确自己的工作节奏，用自己的节奏去主导自己的行动，而非依从他人刷剧、刷手机是一种用外在的新鲜刺激去填充注意力的方式，依靠这种刺激把大脑一次次拉
2022-03-30 00:02:31
127
原创 基础概率面试题汇总
参考资料1参考资料2在半径为1的圆中随机选取一点。方法1：在x轴[-1,1]，y轴[-1,1]的正方形随机选取一点，如果此点在圆内，则即为所求的点。如果不在圆内，则重新随机直到选到了为止。方法2：从[0, 2*pi)随机选取一个角度，再在这个方向的半径上随机选取一个点。但半径上的点不能均匀选取，选取的概率要和离圆心的距离成正比，这样才能保证随机点在圆内是均匀分布的。一根木棒，截成三截，组成三角形的概率是多少？设第一段截x，第二段截y，第三段1-x-y。考虑所有可能的截法。可能的截法中必
2022-03-24 17:10:13
1203
原创 ICLR2021-Contextual Transformation Networks for Online Continual Learning
Introductionthe motivation is online continual learning with a fixed architecture by modeling the task-specific features.Contextual transformation network (a base network and a controller)什么是episodic memory? Episodic memory是用于base model的训练什么是semantic .
2022-03-24 11:20:49
204
原创 常用技术积累-（4）
attention和self-attention和co-attentionAttention和self-attention其具体计算过程是一样的，只是计算对象发生了变化而已。attention是source对target的attention，而self attention 是source 对source的attention。参考材料1co-attention和attention参考材料2*args和**kwargsresnet32在cifar100上训练参考材料3参考材
2022-03-24 11:17:29
2664
原创 常用工程技术积累-（3）
pytorch hook模块参考材料1Torch.Tensor.register_hook, 2. torch.nn.Module.register_backward_hook,获取网络中间层的梯度torch.nn.Module.register_forward_hook,获取网络中间层的输出特征 torch.nn.Module.register_forward_pre_hook获取网络中间层的输入特征python查询题目：给定两个List变量A和B，找出在A中存
2022-03-17 10:27:03
1554
原创 基础算法刷题笔记(4)
acm模式刷题经验交流帖参考链接1参考链接2题目1class ListNode: def __init__(self, val=0, next=None): self.val = val self.next = next def solution(head): if head.next==None: return head p = head q = None while p!=None:
2022-03-17 10:14:48
331
原创 代码实现-CVPR2020-Dynamic Convolution: Attention over Convolution Kernels
代码参考链接链接强调注意看issue部分，动态卷积的参数初始化很重要，Bias初始化的部分有错误。需要根据issue进行修改。self.bias = nn.Parameter(torch.zeros(K, out_planes))论文理解材料链接核心思想，原来是多个样本采用一组固定的卷积参数，现在是每个样本输入，对应生成一组卷积参数，训练的时候有K个卷积核参数，通过attention模块产生K个参数，组合叠加生成对应的一组卷积参数。另外，高维特征适合作为动态卷积的输入，需要根据实际任务场景进行微
2022-03-01 10:22:30
330
原创 常用工程技术积累（2）
numpy中的nonzero()torch.no_grad()torch.tensor.fill_()torch的tensor.uniform()model.zero_grad()和optimizer.zero_grad()model.forward(input)和model(input)KL距离:torch.nn.functional.kl_div()和torch.nn.KLDivLoss()参考资料pytorch中一个优化器中对不同的参数设置不同的学习率...
2022-03-01 10:17:45
471
原创 基础算法刷题笔记(3)
剑指 Offer 50. 第一个只出现一次的字符剑指 Offer 04. 二维数组中的查找暴力逐行二分线性查找刷题心得刷题时，要控制做题时间，10分钟如果没有想出思路，直接看答案，快速刷题剑指 Offer 32 - II. 从上到下打印二叉树 II面试题32 - I. 从上到下打印二叉树上面一题的简单版本剑指 Offer 32 - III. 从上到下打印二叉树 III第一种写法参考写法剑指 Offer 26. 树的子结构解题思路解题写法参考
2022-02-25 10:21:19
409
原创 NeurIPS2021-DualNet: Continual Learning, Fast and Slow
Abstract神经科学的理论complementary learning systems; fast学当前具体任务信息（supervised），slow学通用的(self-supervised)Introductionthe main focus of this study is exploring how the CLS theory can motivate a general continual learning framework with a better trade-off betwe.
2022-02-24 13:19:24
2275
原创 常用工程技术积累-（1）
vscode和远程服务器文件共享sftp参考资料name; host; port; username; protocol; privatekeypath; passive; interactiveAuth; remotePath; uploadOnSave; syscMode; ignorevscode通过remote ssh连接操作远程服务参考链接1参考链接2
2022-02-24 13:14:19
522
原创 基础算法刷题笔记-（2）
剑指 Offer 05. 替换空格剑指 Offer 58 - II. 左旋转字符串剑指 Offer 03. 数组中重复的数字剑指 Offer 53 - I. 在排序数组中查找数字 I剑指 Offer 53 - II. 0～n-1中缺失的数字二分法，边界条件剑指 Offer 11. 旋转数组的最小数字...
2022-02-24 13:07:53
230
原创 Deep learning pytorch基础知识整理总结-（二）
图像增强的作用数据增强，高效利用数据；翻转，旋转角度pytorch实现鲜花分类下载数据集，Linux下解压.tgz文件划分数据集为训练集，测试集；按照这个链接的代码操作即可参考资料训练集1020张样本，验证集1020张样本，测试集6149张样本，一共8189张样本dataset_sizes:{‘train’: 1020, ‘valid’: 1020}, class_names:[‘c0’, ‘c1’, ‘c10’, ‘c100’, ‘c101’, ‘c11’, ‘c12’, ‘c13
2022-02-24 13:06:02
451
原创 论文阅读-TNNLS2021-Elastic Knowledge Distillation by Learning from Recollection
Abstract训练过程中历史记忆中的有效信息，来帮助模型学习；recollection构建和使用；不同capacity和不同训练阶段来建立不同的recollection；similarity-based elastic KD 算法(弹性知识蒸馏)；Introduction之前每个training epoch的输出(training history),每一个对应一个recollection; How to build a suitable recollection;两点观点: 1. resNet-1
2022-02-22 09:41:33
2284
原创 Deep learning pytorch基础知识整理总结（一）
卷积神经网络的整体流程第20课涉及参数步长，stride; kernel_Size, padding，卷积核个数对不同区域卷积参数共享Alexnet, VggNet, ResNet.网络深了，梯度消失或者梯度爆炸。网络深了，难优化，resnet感受野autograd机制求偏导链式法则z.backward(retrain_graph=True)如果不清空梯度会累加起来requires_grad_()与requires_grad的区别,同时pytorch的自动求导(AutoGrad)使用
2022-02-18 18:19:41
712
原创 基础算法刷题（2）
剑指 Offer（专项突击版）剑指 Offer II 023. 两个链表的第一个重合节点剑指 Offer II 105. 岛屿的最大面积DFS and BFS剑指 Offer II 011. 0 和 1 个数相同的子数组字典和前缀和剑指 Offer II 001. 整数除法减法模拟+位运算4<<3: 4*(23)数值边界：MaxInt = 231-1 MinInt = - 2**31剑指Offer09-用两个栈实现队列11.3 栈和队列: 栈先进后出，队列先进先出
2022-02-18 18:12:43
228
原创 words and sentences
2021-01-04mingle（混合，联合） the features of current task with the features of all previous tasksknowledge recitation (知识背诵，朗诵)omit（删除）the encoder and maps an arbitrary sample ID to the corresponding feature map directly...
2021-01-04 15:20:12
225
原创 2020-12-28 zotero (zotfile+onedrive)+windows+ipad（apple pencil）+mac 文献阅读同步工具
在网上搜索了很多教程，总结下经验和实验成功的比较好的教程。下面给出了链接，最终配置成功的是教程一的zotfile配合同步盘（同步盘采用的是OneDrive）。OneDrive可以使用教育用户注册，空间更大。教程一教程二...
2020-12-28 19:56:23
2069
原创 持续学习-Towards reusable network components by learning compatible representations-arxiv2020
AbstractThis paper proposed to make a first step towards compatible and hence reusable network components. Split a network into two components: a feature extractor and a target task head. 最终验证在三个应用上，unsupervised domain adaptation, transferring classifier.
2020-08-21 16:22:54
114
原创 动作识别-Regularization on Spatio-Temporally Smoothed Feature for Action Recognition-CVPR2020
Abstract3D 卷积核，由于参数量多，容易overfitting；提出了一种正则化方法；the key idea of RMS is to randomly vary the magnitude of low-frequency components of the feature to regularize the model.Introduction解决overfitting问题有Perturbation base regularization methods on the input sp.
2020-07-30 15:33:08
454
原创 田奇老师报告——浅谈计算机视觉过去、现在、未来
参考博客挑战：1)semantic gap; 2) 缺乏常识，计算机不会犯小错误，它们会犯大错误；3)从平面投影到三维感知基础技术概括；算法、算力、数据；检测、识别、检索、跟踪、分割、增强、重建、分类...
2020-07-22 21:28:40
423
原创 持续学习——Continual Unsupervised Representation Learning——NeurIPS2019
AbstractUnsupervised continual learning (learning representations without any knowledge about task identity)Introduction挖坑写法，however, most of these techniques have focused on a sequence of tasks in which both the identity of the task (task label) and b.
2020-07-22 10:35:04
524
原创 Action Recognition-Temporal Attentive Alignment for Large-Scale Video Domain Adaptation——ICCV2019
Abstractimage-based domain adaptation, domain shift in videos,Two large-scale DA datasets (UCF-HMDB_full, Kinetics-Gameplay)Introductionvideos can suffer from domain discrepancy along both the spatial and temporal directions.Claim的两个点:Conclusionth.
2020-07-17 17:55:19
4632
原创 Action Recognition——Deep Domain Adaptation in Action Space——BMVC2018
AbstractThe problem of Domain Shift in action videos.Introduction实际应用例子surveillance cameras are everywhere, be it city streets, market place, buildings or airports. A massive amount of video data that needs to be processed for autonomous understanding .
2020-07-17 17:52:58
212
原创 增量学习——Maintaining Discrimination and Fairness in Class Incremental Learning——CVPR2020
Abstractknowledge distillation; 造成灾难性遗忘的很大一个原因是the weights in the last fully connected layer are highly biased in class-incremental learning;IntroductionConclusionmaintain the discrimination via knowledge distillation and maintains the fairness via a.
2020-07-14 16:07:55
1130
2
原创 增量学习——Incremental Learning in Online Scenario——CVPR2020
Abstract两个问题，1）灾难性遗忘；2）As new observations of old classes come sequentially over time, the distribution may change in unforeseen way, making the performance degrade dramatically on future data, which is referred to as concept drift.一个新的online learning s.
2020-07-14 15:29:13
1017
原创 持续学习——Neural Topic Modeling with Continual Lifelong Learning——ICML2020
Abstractcontinual learning+ unsupervised topic modeling《Lifelong machine learning for natural language processing, EMNLP2016》《Topic modeling using topics from many domains, lifelong learning and big data， ICML2014》难点data sparsity（in a small collection ..
2020-07-14 15:26:59
506
原创 持续学习——Optimal Continual Learning has Perfect Memory and is NP-HARD——ICML2020
AbstractThe main finding is that such optimal continual algorithms generally solve an NP-HARD problem and will require a perfect memory to do so.Introduction分类方法分成regularization-based, replay-based和bayesian and variationally Bayesian三类；另外就是每个任务学一份参数；如..
2020-07-14 11:20:12
339
原创 生成模型——NVAE: A Deep Hierarchical Variational Autoencoder——arxiv2020.07
VAE相关改进VAE的相关改进：1）VAE和GAN结合，GAN的缺点是训练不稳定；2）VAE和flow模型结合；3）VQ-VAENVAENouveau VAE，包含了多尺度架构、可分离卷积、swish 激活函数、flow 模型等自回归分布将隐变量分组，针对组间多尺度设计其他性能提升技巧BN层改进（改成Instance Normalization或Weight Normalization）；谱正则化的应用（在每一个卷积层加谱正则化）；flow模型增强分布；节省显存的技巧参考材料扩展.
2020-07-14 10:03:21
3539
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人