- 博客(12)
- 收藏
- 关注
RSS订阅原创 Attention Is All You Need—transformer详解
transformer仅仅使用注意力机制，没有使用任何的卷积或者RNN结构。传统RNN结构的当前隐层状态ht需要当前时刻的输入以及上一时刻的隐状态输入ht−1，受到这一固有特性的影响，遇上长序列时效率会非常低，因为受到内存大小的限制，不可能无限制增大batch的大小，无法并行处理序列。由于翻译前后句子长短不一定是一致的，机器翻译任务一般采用编码-解码结构来解决。
2023-04-29 19:00:00
234
1
原创 高效的自动push解决方案—屏幕锁定时git自动push
一直在使用md文件进行知识总结和记录自己的一些感想，并选择了github作为托管平台。在这个过程中经常有一个问题困扰我：有时会忘记同步最新的内容，导致换了一台电脑之后无法获取最新的内容；并且每次add，commit，push，着实浪费时间。所以在想，能不能让windows在特定条件下自动进行push？这样就可以减少push次数和避免遗忘push。
2023-01-05 20:31:23
366
原创 再探attention—self-attention原理详解
self attention是论文《Attention is all you need》中提出的一种新的注意力机制。在了解了attention原理后，self-attention原理也就很好理解了
2022-12-12 11:42:49
737
原创 分类模型常用的评价指标
分类模型的评价指标的重要性不亚于设计一个好的网络模型，只有通过合理的评价指标，才能衡量一个模型的好坏和选择一个合适的模型。以下所有内容，如有侵权，请联系删除~
2022-11-19 09:51:04
3154
原创 初探attention—attention原理和代码详解
在正式开始探索attention之前，首先了解一下seq2seq。循环神经网络只能将一个序列信号转换为定长输出，但Seq2Seq可以实现一个序列信号转化成一个不定长的序列输出，因此seq2seq模型应用广泛，可以应用于很多不对等输入输出的场景，比如机器翻译，文本摘要，对话生成，诗词生成，代码补全等领域，当然也可以用于文本分类等任务。
2022-11-11 20:16:23
939
原创 LSTM原理专项介绍
LSTM缓解了RNN中梯度消失的问题，使其可以处理长短时序列。但是LSTM并没有彻底解决梯度消失的问题。LSTM被各大科技公司应用在文字翻译，语音识别等方向，因为其相比RNN，在各个应用场景上带来了比较大的效果提升。
2022-11-10 17:36:11
1873
原创 python+mysql—高效的数据处理方案
由于pythonGIL全局锁，如果利用多线程无法充分利用多核资源，因此使用多进程进，充分利用多核资源，榨干机器的性能！BaseManager管理器提供了一种创建共享数据的方法，可以在不同进程中共享，甚至可以通过网络跨机器共享数据。由于每个进程有独立的资源，不同进程间共享资源非常麻烦，为了可以操作共享对象，进行数据库写入等一些操作，采用 BaseManager 进行共享对象的管理。之所以选择BaseManager管理共享对象，因为这种方式可以很简单的将一些操作打包成一个类，然后将这个类作为对象进行共享。
2022-11-10 16:53:21
750
原创 RNN原理介绍
RNN在实际使用的频率并不多，大多使用LSTM替代RNN，因此对RNN进行简单的介绍。RNN是研究LSTM的基础，毕竟LSTM是基于RNN的改良，二者循环原理大体一致。由于RNN使用sigmod激活函数，其导数范围在[0,0.25]之间，那么当V>4时会产生梯度爆炸，而当V
2022-11-04 17:59:23
1761
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人