深度学习
文章平均质量分 82
Deep Learning 基础及高阶知识汇总
Harrytsz
这个作者很懒,什么都没留下…
展开
-
注意力机制
注意力机制或注意力池化会根据 query 有偏向性地去选择某一些 (key, value) pair,这里的注意力池化和普通池化层不一样的地方在于注意力池化多了一个 query 部分。原创 2022-06-02 11:49:45 · 475 阅读 · 1 评论 -
NeuralCF 推荐模型
文章目录一、导包二、读取数据三、特征编码处理四、使用具名元组为特征进行处理五、构建模型5.1 输入层5.2 Embedding层5.3 GML5.4 MLP5.5 输出层5.6 构建模型六、运转模型绘制网络结构图下图为 NeutralCF 的模型结构图,总共两个分支,第一个分支为GML,第二个为MLP,GML 通路将两个特征的 Embedding 向量进行内积操作,MLP 将两个特征的 Embedding 的向量进行拼接,然后使用多层感知机进行传播,然后将两个通路输出的向量进行拼接,导入全连接层(输出层)转载 2022-05-12 10:57:27 · 443 阅读 · 0 评论 -
基于深度学习的以图搜图
使用预训练的卷积神经网络提取图片中的特征,生成特征向量。利用图片库中所有图片数据构建 <id, feature vector> 数据。使用 Faiss 创建 Index ,利用 <id, feature vector> 数据生成索引。针对待检索图片,使用模型提取图片特征向量,然后使用 Index 检索 TopK 相似图片的 id。可视化检索结果1. 导包import osimport timeimport torchimport faissimport num.原创 2022-05-07 16:41:05 · 2666 阅读 · 3 评论 -
Pandas 合并
一、 按照行合并1. append用法和列表一样,不用在意参数里是不是有空列表(用列表代替一个参数),其他几个好像都不可这样a = []b = np.arange(5)print(a)print(b)d = np.append(a,b)print(d)---------输出----[][0 1 2 3 4][0. 1. 2. 3. 4.]2. c_np.c_是按行连接两个矩阵,就是把两矩阵左右相加,要求行数相等#例一a = np.arange(5)b = np.arang原创 2022-04-28 15:12:21 · 1945 阅读 · 0 评论 -
生成式深度学习
我们的感知模式、语言和艺术作品都具有统计结构。学习这种结构是深度学习算法所擅长的。机器学习模型能够对图像、音乐和故事的统计潜在空间(latentspace)(latent space)(latentspace)进行学习,然后从这个空间中采样,创造出于模型在训练数据中所见到的艺术作品具有相似特征的新作品。当然,这种采样本身并不是艺术创作行为。它只是一种数学运算,算法并没有关于人类生活、人类情感或我们人生经验的基础知识。相反,它从一种与我们的经验完全不同的经验中进行学习。作为人类旁观者,只能靠我们的解释才能对模原创 2022-03-16 23:53:16 · 1358 阅读 · 0 评论 -
Tensorflow -- feature_column
特征列通常用于对结构化数据实施特征工程时候使用,图像或者文本数据一般不会用到特征列。1. 特征列用法使用特征列可以将类别型特征转换为 one-hot 编码特征,将连续型特征构建成分桶特征,以及对多个特征生成交叉特征等。要创建特征列,请调用 tf.feature_column 模块的函数。该模块中常用的九个函数如下图所示,所有九个函数都会返回一个 Categorical-Column 或一个 Dense-Column 对象,但却不会返回 bucketized_column,后者继承至这两个类。注意:所原创 2022-03-16 16:06:41 · 1637 阅读 · 0 评论 -
久别重逢话双塔
久别重逢话双塔转载至: https://zhuanlan.zhihu.com/p/428396126正文开始之前,先声明两点:双塔是“召回”+“粗排”的绝对主力模型。但是要让双塔在召回、粗排中发挥作用,带来收益,只改进双塔结构是远远不够的。如何采样以减少“样本选择偏差”、如何保证上下游目标一致性、如何在双塔中实现多任务间的信息转移…,都是非常重要的课题。但是受篇幅限制,本文只聚集于双塔模型结构上的改进。双塔分离:成也萧何,败也萧何双塔的模型结构很简单。训练的时候将用户侧的信息喂入一个DNN转载 2022-03-04 09:08:26 · 345 阅读 · 0 评论 -
深度学习中神经网络的几种权重初始化方法
深度学习中神经网络的几种权重初始化方法 在深度学习中,神经网络的权重初始化方法对(weight initialization)对模型的收敛速度和性能有着至关重要的影响。说白了,神经网络其实就是对权重参数w的不停迭代更新,以期达到较好的性能。在深度神经网络中,随着层数的增多,我们在梯度下降的过程中,极易出现梯度消失或者梯度爆炸。因此,对权重w的初始化则显得至关重要,一个好的权重初始化虽然不能完全解决梯度消失和梯度爆炸的问题,但是对于处理这两个问题是有很大的帮助的,并且十分有利于模型性能和收敛速转载 2021-10-19 09:48:58 · 3202 阅读 · 0 评论 -
浅析Faiss在推荐系统中的应用及原理
之前在业务中应用了许多Faiss,也看了几篇关于Faiss的论文,简单记录下Faiss的一些属性和应用。Faiss是Facebook的AI团队开源的一套用于做聚类或者相似性搜索的软件库,底层是用C++实现。Faiss因为超级优越的性能,被广泛应用于推荐相关的业务当中。接下来分Faiss在推荐业务应用和Faiss的基本原理两部分进行介绍。1Faiss在推荐业务中的应用在我的认知里,基本上50%以上的手机APP的推荐业务会应用到Faiss服务,可见应用之广。那Faiss究竟是在哪个模块使用呢,通过下方这个图原创 2021-10-09 09:20:25 · 386 阅读 · 0 评论 -
RecSys 2019:对in-batch负采样进行bias校正的Google双塔模型
文章目录 1.总览2.考虑到bias的softmax损失修正3.如何计算batch内item的采样概率?4.其他的一些tricks梳理4.1 Embedding标准化4.2 softmax增强 5.代码 论文链接:Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations 1.总览 目前,业界的推荐系统可以分成Retrieval和Ranking两个阶段,Retrieval需要从百万级以.原创 2021-10-07 10:23:45 · 417 阅读 · 0 评论 -
【AAAI2020】阿里DMR:融合Matching思想的深度排序模型
文章目录 1.模型特征和整体结构2. I2I和U2I网络2.1 I2I2.2 U2I 3. 一些细节和思考3.1 哪些结果concat到一起送入DNN中?3.2 关于item embedding3.3 关于模型架构的可移植性 论文链接:Deep Match to Rank Model for Personalized Click-Through Rate Prediction 推荐系统中 CTR 预估的重要性不言而喻,其中个性化是提升 CTR 模型效果的关键。对于CTR模型来说,个性化是转载 2021-10-07 10:18:05 · 295 阅读 · 0 评论 -
推荐系统中的用户兴趣建模(四):用户长期兴趣——超长序列的建模方法
前面说到的几个模型序列的长度都不会太长,也即考虑的是用户的短期兴趣,例如DIN 和 DIEN 保留的历史行为长度都小于 100。但有实验表明,增加序列的长度能取得效果的提升: 从上图中可以发现,当用户行为序列长度增加到1000时,AUC会有1.5%的提升,这种幅度的提升在CTR预估任务当中是非常显著的提升了。但存在的问题是:随着用户历史行为特征序列长度越来越长,将其应用于线上系统变得越来越困难,因为线上系统(CTR预估)通常对耗时要求比较高(需要在一定时间内返回结果),系统的线上延迟和存储开销会随着用户.转载 2021-10-07 10:07:52 · 850 阅读 · 0 评论 -
推荐系统中的用户兴趣建模(三):跨sessions间的用户兴趣建模网络——DSIN
第三篇介绍电商推荐场景下一个非常有意思的做法,跨sessions间的用户兴趣建模网络——DSIN(IJCAI 2019)。 在前面两篇中,无论是DIN还是DIEN还是BST或BERT4REC,建模的主体都是整个用户行为序列,这忽略了序列内在的结构:序列由sessions组成,其中sessions是发生时间内独立的用户行为。paper指出用户行为在每个会话中都是高度同构的,但跨会话是异构的。 如何理解呢?以某用户行为序列为例,如下图所示。用户通常在一个会话中有一个明确的独特意图,而她的兴趣可以急剧变化当她开始转载 2021-10-07 10:02:28 · 224 阅读 · 0 评论 -
阿里DIEN整体代码结构
目录[论文解读] 阿里DIEN整体代码结构0x00 摘要0x01 文件简介0x02 总体架构0x03 总体代码0x04 模型基类4.1 基本逻辑4.2 模块分析4.2.1 构建变量4.2.2 构建embedding4.2.3 拼接embedding0x05 Model_DIN_V2_Gru_Vec_attGru_Neg5.1 第一层 ‘rnn_1’5.1.1 GRU5.1.2 辅助损失5.1.3 mask的作用Padding MaskSequence原创 2021-09-19 23:54:22 · 781 阅读 · 0 评论 -
face_recognition 人脸识别
前言之前实践了下face++在线人脸识别版本,这回做一下离线版本。github 上面有关于face_recognition的相关资料,本人只是做个搬运工,对其中的一些内容进行搬运,对其中一些例子进行实现。官方描述:face_recognition 是一个强大、简单、易上手的人脸识别开源项目,并且配备了完整的开发文档和应用案例,特别是兼容树莓派系统。本项目是世界上最简洁的人脸识别库,你可以使用 Python 和命令行工具提取、识别、操作人脸。本项目的人脸识别是基于业内领先的 C++ 开源库 dlib 中原创 2021-09-08 16:26:25 · 5821 阅读 · 0 评论 -
Jiagu 自然语言处理工具
Jiagu使用大规模语料训练而成。将提供中文分词、词性标注、命名实体识别、情感分析、知识图谱关系抽取、关键词抽取、文本摘要、新词发现、情感分析、文本聚类等常用自然语言处理功能。目录安装方式使用方式评价标准附录说明提供的功能有:中文分词词性标注命名实体识别知识图谱关系抽取关键词提取文本摘要新词发现情感分析文本聚类等等。。。。安装方式pip安装pip install -U jiagu如果比较慢,可以使用清华的pip源:pip install -U jiagu原创 2021-09-02 11:37:03 · 2785 阅读 · 0 评论 -
常见10种自然语言处理技术
原文该作者也是翻译的外文,英文原文链接引言自然语言处理(NLP)是一种艺术与科学的结合,旨在从文本数据中提取信息。在它的帮助下,我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析,自然语言处理成为所有数据科学家的必备技能之一。常见的10个NLP任务如下:词干提取词形还原词向量化词性标注命名实体消岐命名实体识别情感分析文本语义相似分析语种辨识文本总结以下将详细展开:1.词干提取什么是词干提取?词干提取是将词语去除变化或衍生形式,转换为词干或原型形式的原创 2021-09-02 08:59:22 · 12747 阅读 · 0 评论 -
深度学习基础
滤波器与卷积核在只有一个通道的情况下,“卷积核”就相当于 “filter”,这两个概念是可以互换的。但在一般情况下,它们是两个完全不同的概念。每个 “filter” 实际上恰好是“卷积核”的一个集合,在当前层,每个通道都对应一个卷积核,且这个卷积核是独一无二的。滤波器的数量,卷积核的shape。卷积层和池化输出大小计算不管是TensorFlow、Keras、Caffe还是Pytorch,其卷积层和池化层的参数默认值可能有所不同,但是最终的卷积输出大小计算公式是一样的CNN中术语解释卷积层主要原创 2020-08-26 18:33:42 · 2377 阅读 · 0 评论 -
Linux 搭建深度学习环境教程
Linux 搭建深度学习环境教程Notes:如果只是单纯的想搭建一个基础的 GPU 深度学习环境,其实根本不需要按照网上绝大部分教程那样依次手动下载并安装 Nvidia 驱动,CUDA toolkit 安装包,CUDNN 安装包,(PS.根据这些教程几乎也没有成功过????)。Nvidia 驱动对 Linux 的兼容性不友好的问题由来已久,其实祖师爷很懂每一位被驱动兼容性折磨的小伙伴的心情,这不...原创 2019-11-21 19:37:19 · 3209 阅读 · 0 评论 -
基于深度学习的推荐系统
在微信公众号“机器之心”中无意中看到的论文:Deep Learing based Recommender System:A Survey and New PerspectivesACMJ.Comput.Cult.Herit.,Vol.1,No.1,Article35.Publication date:July 2017.1、引言推荐系统:用来预测使用者对于他们还没有见到或了解的事物的喜好。由...转载 2019-10-17 21:39:54 · 1928 阅读 · 0 评论 -
资源 | AI、神经网络、机器学习、深度学习以及大数据学习备忘单
以下是关于神经网络、机器学习、深度学习以及大数据学习的备忘单,其中部分内容和此前发布的《资源 | 值得收藏的 27 个机器学习的小抄》有所重复,大家可以两篇综合起来看。提示:点击图片查看大图神经网络Neural Networks Cheat Sheet神经网络图谱Neural Networks Graphs Cheat SheetNeural Network Cheat&nbs...转载 2019-03-28 20:13:27 · 435 阅读 · 0 评论 -
白板推导机器学习-开篇
频率派 VS 贝叶斯派机器学习中引入概率很自然,把数据当做是一个概率模型。X:表示数据 data ——> 有 N 个样本,每个样本维度为 P: X=(x1x2...xN)N×PTX = (x_{1} x_{2} ... x_{N})^{T}_{N \times P}X=(x1x2...xN)N×PTθ\thetaθ:表示参数 parameter频率派:认为模型的参数 θ\th...原创 2019-03-13 10:01:41 · 851 阅读 · 3 评论 -
白板推导机器学习--绪论
1.绪论——学习资料介绍频率派 —— 统计机器学习贝叶斯派 —— 概率图模型参考书推荐:1.李航 《统计学习方法》感K朴决逻,支提E隐条 ————> 统计机器学习2.周志华 《机器学习》西瓜书3.PRML《模式识别与机器学习》主要是以贝叶斯的角度:回分神核稀,图混近采连 顺 组4.MLAPP 《以概率的视角去看机器学习》百科全书似的,主要以贝叶斯角度5.E...原创 2019-03-13 10:00:06 · 554 阅读 · 0 评论 -
优化方法总结:SGD,Momentum,AdaGrad,RMSProp,Adam
1. SGDBatch Gradient Descent在每一轮的训练过程中,Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度,并用该梯度对模型参数进行更新:Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(Θ) \Theta = \Theta -\alpha \c...原创 2019-01-08 23:25:31 · 568 阅读 · 2 评论 -
卷积神经网络概念与原理
一、卷积神经网络的基本概念 受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力,在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。 &...转载 2019-04-23 09:00:57 · 12462 阅读 · 0 评论 -
卷积神经网络在ImageNet项目中的演进过程
1、ImageNet数据集背景介绍: 如果说Mnist数据集将初学者领进了深度学习领域,那么Imagenet数据集在深度学习中尤其是计算机视觉领域掀起了巨大的浪潮。ImageNet项目于2007年由斯坦福大学华人教授李飞飞创办,目标是收集大量带有标注信息的图片数据供计算机视觉模型训练。ImageNet拥有1500万张标注过的高清图片,总共拥有22000类,其中约有100万张标注了图片中主要物体的...转载 2019-05-21 08:57:54 · 410 阅读 · 0 评论 -
运行python脚本时出现no module named cv2怎么解决
运行python脚本时报错:ImportError: No module named cv2第一想法:使用命令:pip install cv2会报错找不到请求的版本解决方法:使用命令pip install opencv-python...转载 2019-05-21 09:20:48 · 1012 阅读 · 0 评论 -
基于深度学习生成音乐(mid格式)
摘要之前在看Andrew Ng 的deep learning 视频教程,在RNN 这一节的课后作业里,实现了一个基于deepjazz的music generator,实验之后发现产生的结果还有模有样的,这激发了我的兴趣,于是我就查阅了一些资料,看看音乐的自动生成方面最近有哪些进展,特别是深度学习在这一块的应用。之前在看Andrew Ng 的deep learning 视频教程,在RNN 这一节...原创 2019-05-27 15:45:42 · 4493 阅读 · 1 评论 -
OpenCV人脸检测-Haar级联和LBP
人脸检测-Haar级联概述✔️ Haar 级联检测器,OpenCV 中的 Haar 级联检测器支持人脸检测、微笑、眼睛与嘴巴检测等,通过加载这些预先训练的 Haar 模型数据可以实现相关的对象检测。Haar特征✔️ Haar 小波基函数,因为其满足对称性,因此对人脸这种生物对称性良好的对象特别适合用来做检测。小波函数常见的Haar特征分为三类:边缘特征;线性特征;中心特征和对...原创 2019-07-30 17:48:04 · 1677 阅读 · 0 评论 -
Kaggle 机器学习竞赛冠军及优胜者的源代码汇总
http://dataunion.org/14892.htmlKaggle比赛源代码和讨论的收集整理。Algorithmic Trading Challenge40Solution whitepaper41.Solution thread30.Allstate Purchase Prediction Challenge7Rank 2 solution code33 ...转载 2019-07-31 15:36:41 · 465 阅读 · 0 评论 -
生成式对抗网络(Generative Adversarial Networks,GANs)
1. 简介首先简要介绍一下生成模型(Generative model)与判别模型(Discriminative mode)的概念:生成模型:对联合概率进行建模,从统计的角度表示数据的分布情况,刻画数据是如何生成的,收敛速度快,例如朴素贝叶斯,GDA,HMM等。判别模型:对条件概率P(Y|X)P(Y|X)进行建模,不关心数据如何生成,主要是寻找不同类别之间的最优分类面,例如LR,SVM等。...转载 2019-01-08 15:46:55 · 3922 阅读 · 0 评论