![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 54
晚点吧
。。。。点
展开
-
transform decoder
1 decoder 层1.1 decoder 子层class DecoderLayer(nn.Module): def __init__(self,embedding_dim,self_attn,src_attn,feed_forward,dropout): super(DecoderLayer,self).__init__() self.embedding_dim=embedding_dim self.self_attn=self_attn原创 2021-09-16 00:11:01 · 211 阅读 · 0 评论 -
transform encoder详细解析
1、transformer 架构图transformer encoder 和decoder 如下图左右两部分所示下面主要介绍encoder层1.1 encder 层包含的子层embedding 层位置层多头注意力层全连接层规范化层子连接层EncoderLayer (encoder子层)Encoder各层源码详见下面第二章1、embedding 层和位置编码层embedding layerimport torchimport torch.nn as nnfrom to原创 2021-09-15 23:36:08 · 2397 阅读 · 0 评论 -
邻近搜索(Annoy HNSW LSH KD tree)
大纲Annoy:Approximate Nearest Neighbors Oh YeahHNSW:Hierarchcal Navigable Small World graphsKD Tree:K dimentional TreeLSH:Locality Sensitive HashingAnnoyAnnoy 是 Spotify 开源的高维空间求近似最近邻的库,在 Spotify使用它进行音乐推荐。Annoy通过将海量数据建立成一个二叉树来使得每个数据查找时间复杂度是O(log n)。原创 2021-05-29 11:26:50 · 706 阅读 · 0 评论 -
算法实现通用的步骤
1 通用步骤•1)论文的阅读,最新算法的研究•2)算法的大概方向的评估训和确定•3)练数据收集,清洗以及数据预处理•4)算法实现,系统设计,参数调优,模型升级•5)模型效果评估与部署1)论文的阅读,最新算法的研究•A、顶级会议论文•机器学习顶级会议:NIPS, ICML, UAI, AISTATS; (期刊:JMLR, ML, Trends in ML, IEEE T-NN)•计算机视觉和图像识别:ICCV, CVPR, ECCV; (期刊:IEEE T-PAMI, IJCV, IEEE原创 2021-05-01 15:24:40 · 996 阅读 · 0 评论