![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习trick
荒山之夜
这个作者很懒,什么都没留下…
展开
-
深度学习系统中的log问题
在训练模型的过程中,总会进行调参工作。原则上是,让机器跑,人抽身出来,做更愉悦身心的事。此时,就可以想办法把调参过程中的参数保留下来,等事后再来观察结果,分析结论。那么有什么打LOG的方法呢?1. 首先是利用第三方工具,logging,去打log。 但这种方法要求你在代码中要定义相应的logging。 比如logging.info("这是一条log") ...原创 2019-05-30 14:38:28 · 1876 阅读 · 0 评论 -
XLNet
1.克服了BERT没有考虑文本顺序的缺陷。2.可以考虑文本内容,还是双向的,文本的顺序还是随机的一个模型。3.用了最先进的transformer-XL,获得了更牛逼的性能。它比BERT在20个任务上好,还在18个任务上实现了最好的结果。1.作者用随机所有句子中的顺序,加上双向lstm,从而获得了context信息(评价:完全摒弃了语句的顺序)2、因为没有mask,所以去除了pretr...原创 2019-06-23 21:34:52 · 948 阅读 · 0 评论 -
《Conditional BERT Contextual Augmentation》
实话说,这个文章我20分钟就可以看完。LSTM-RNN 和 CNN模型,还可以用在迁移模型上。这个东西发了个ICCS,反正我是没有听说过这个会议的。应该是在这个会议上灌了个水。这他妈的水啊。在风格迁移上做了手脚。面对风格迁移的时候,巴拉巴黎,又操作了一通。数据漂亮的有些不像话。而且代码还没有开源。虽然它这个代码也没有开源的意义。(但依...原创 2019-06-16 15:54:09 · 1422 阅读 · 2 评论 -
《Effective LSTMs for Target-Dependent Sentiment Classification》
这是2015年发表的一篇paper。这篇paper在实际上提出了一套Target-Dependant sentiment的方法。分为两个模型:一个是TD-LSTM,一个是TC-LSTM模型可以看到它是在文档的最后,加入了target信息。而同样在TC模型中,我们发现它将模型这样加入了代码中。很显然,这是将target加入了这个paper之中。综上,文档已经计算成功。...原创 2019-06-14 20:44:40 · 805 阅读 · 0 评论 -
pycharm的一点小事儿
在pycharm的时候,我们会发现有的时候点击了run,而run窗口却莫名其妙的消失了。无论怎么点击run,都无法使run窗口弹出来。这个时候双击run,然后随意选择选项卡中的一项,比如split,float之类的,改变run的相对位置,就能解决这个问题了。...原创 2019-06-02 18:00:15 · 111 阅读 · 0 评论 -
《Aspect Sentiment Classification with both Word-level and Clause-level Attention Networks》未完待续
1.target是如何打标签的?2.长度不同的标签有什么处理方法? 1.用位置重新计算 2.计算embedding的和3. Attention的增加方法原创 2019-06-07 14:03:17 · 452 阅读 · 0 评论 -
python的除法溢出问题
python的除法可以分为/ 和 //其中// 代表的是整数的处法,而/代表的是小数的处法有的时候大家除小数,会发现是不是// 和 / 出来的结果是不同的因为用/的话,默认是小数的处罚,而小数的表示方式,在python里面是浮点法来表示。也就是C++中表示浮点数的方式,python也是这么表示的。这也就意味着一个比较大的整数,在除法之前,要进行一个转换,这个转换,就会把整...原创 2019-06-07 13:58:41 · 1341 阅读 · 0 评论 -
《Knowledge-enriched Two-layered Attention Network for Sentiment Analysis》
这篇文章选自NAACL_HLT他的核心是用KG和embedding中获得的知识做数据增强两层Attention模型,然后是两层attention,一层捕捉当前词和(KG,embeeding)获得的相似词之间的关系一层是Attention起来。最后输出隐藏层。直接看图片和方法就可以了。这个是计算方式,简直不要太eassy;...原创 2019-06-07 12:46:09 · 519 阅读 · 0 评论 -
《Recurrent Attention Network on Memory for Aspect Sentiment Analysis》
Abstract1. Attention能捕捉到长期的特征,面对无关的特征,更有健壮性。2. muti-Attenion,联合RNN加强了表达能力。3. 不光是帮我们避免了劳动密集型操作,还提供了量身定做的记忆针对于不同的memory(这是weighted-memory机制)4. 除了Semval还在Chinese news comment dataset上进行了操作。...原创 2019-06-07 12:07:16 · 861 阅读 · 0 评论 -
《Attention-based LSTM for Aspect-level Sentiment Classification》
# polarity 和 aspect 都是有的,但是在一句话里,不同的target里面可能有不同的情感极性。# 所以单纯的LSTM模型是不行的。要加上attention机制。1. 不同的aspects被考虑到2. concatenate aspect into hidden representations, 将aspectvector 加入到intputword中。...原创 2019-06-06 21:45:44 · 1217 阅读 · 0 评论 -
git 的时候发现,当前的git不是根路径中的git,怎么办?
我们在使用git + pycharm的时候,突然发现,目前的git不是我们想要的git。它是以前在系统用户目录下的git,这可怎么办?当然是跟新git好了,在VCS中的git中更新这个git...原创 2019-05-30 17:28:18 · 572 阅读 · 0 评论 -
git的一点点使用经验
如果在git中遇到了问题,那就是git add . 之后,commit, 再git log 查看的时候,看到的是一些别的git仓库中的东西。那就是有问题了,朋友。你没有进行git init,所以才会到处跳啊!其次,commit hash 的值,我们怎么获取呢。git log --abbrev-commit --pretty=oneline 这样我们可以直接获取一个短的值...原创 2019-05-30 14:48:18 · 87 阅读 · 0 评论 -
字节跳动:2020算法工程师夏令营笔试题(未解决)
原创 2019-06-26 23:16:55 · 1822 阅读 · 0 评论