wanghan0801-CSDN博客

原创字节抖音电商NLP算法一面

这是今年秋招第一面，没怎么准备，一直在弄论文，两年前的面试经验都忘了，磕磕巴巴的，算法题也没做出来，唉，还是得刷题啊。来记录一下面试吧，给大家一个参考1、自我介绍+随便将一个最近做的项目这个就不赘述了，各自都有，按照自己的说，主要是要把自己做什么，为什么做，效果如何，说清楚，没有怎么准备，所以逻辑也不是很清晰，感觉面试官也没听懂，面试官态度一般般，很快这部分就过去了2、介绍一下Bert，然后Bert里的残差连接有什么用第一问很宽泛啊，我简要说了一下结构和一些预训练任务第二问中这残差连接我

2021-08-06 21:40:12 688

原创 Linux screen常见命令使用

Linux screen常见命令使用screen命令常见使用方法1、创建会话2、查看当前有哪些会话3、进入和退出会话4、修改session的名字5、关闭sessionscreen命令使用该命令可以在当前用户下同时管理多个窗口，同时分别生成日志方便查看，跟nohup类似常见使用方法1、创建会话screen -dmS [sessionname] -L -Logfile [filename]例如：screen -dmS nlp -L -Logfile nlp.log此时就会在当前用户下创建一个名为

2021-05-19 11:31:12 1621

原创 Pytorch多GPU并行Bug收集（长期）：多个模型同时放在不同GPU上并行

##概述最近几天有个模型，使用了local adaptation，就是在inference阶段也加入了训练的过程，因为需要进行模型复制和较大的batch_size进行训练，这样就导致我显卡直接爆炸。我用的看的K80，显存12G。模型用的BERT+文本分类，输入的Sequence_size=512（下简写为seq_size）。##思考过程接下来分享一下我的思考过程，可以看到就模型本身是不大的，即使扩大一倍也不会爆显存，问题就出在这个输入上，seq_size较大的时候，batch_size就要注意了

2020-09-10 16:19:48 1652

原创 Pytorch多GPU并行Bug收集（长期）：KeyError: Caught KeyError in replica [device_id] on device [device_id].

在单卡训练顺利的前提下，修改为多卡训练，可谓bug多多今天用pytorch 多GPU并行训练时，在最后一个step的时候报错了，KeyError: Caught KeyError in replica 5 on device 5.如图所示我们可以看到，代码处应该是没有问题的，经过我的计算，利用train的总量/batch_size-->16100/24=670---余20，无法整除，这下有点眉目了。正好出现在最后一个step上。我这次试验用的是6个GPU跑的试验，使用torch

2020-09-08 18:27:59 3523 1

原创猿辅导算法一面

过程整体面试体验很好，期待二面，虽然感觉有点凉。1、自我介绍2、项目展开问了一些细节，这个大家自己根据自己的项目准备就好，没有太多参考价值。主要就我里面用到一个EWC正则，如何计算Fisher Information，以及在计算机中如何实现积分，因为Fisher Information是需要求一阶导和二阶导，并且进行积分消去参数x。然后这一块着实没准备，嗯，应该去看看源码。Fi...

2019-08-13 18:26:11 3485 2

原创 2020届360暑期算法实习生面经

LZ面的是搜索部门的机器学习工程师（偏NLP的），参加了3月底的宣讲会，免笔试进了大流程面试，不过基础不牢，一面挂掉。4.17上午在360北京总部参加的百人现场面试，蛮震撼的，现场有等候区，有水有零食，还是很贴心的哦，然后在等候区里有个电视实时播报进去面试的人，跟餐厅的叫号系统一样。前面一个人的时候面的有点长，稍微坐了会，趁空闲又各种排序看了一遍（没问到，可惜了哈哈哈）接下来分享一下面...

2019-04-17 20:02:23 556

原创 Android 6.0 新特性

用户层面：1、存储与内存管理1.1解决存储分区问题，合并分区，让手机真正可以安装更多应用1.2Android6.0中对内存管理进行进一步的优化。对于非社交类的App，安卓6.0会启用“墓碑机制”，后台运行时将不再占用内存。升级到安卓6.0后，512MB内存可以流畅运行墓碑机制：多程序后台运行，将后台数据交换到磁盘上，将不再占用系统内存，释放出内存，给前台使用。

2016-03-04 15:01:46 295