![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 78
晚点吧
。。。。点
展开
-
excel手撕BP神经网络(只需高中数学基础)
小白能懂的神经网络,使用excel进行梯度求导计算,进行反向传播,在经过2轮,20次数据迭代后,神经网络收敛。原创 2023-12-17 00:45:34 · 1183 阅读 · 0 评论 -
youtubeDNN模型实现2-网络模型结构
youtube DNN 模型网络结构原创 2022-09-28 22:17:50 · 763 阅读 · 0 评论 -
排序模型-FTRL
排序模型进阶-FTRL1 问题在实际项目的时候,经常会遇到训练数据非常大导致一些算法实际上不能操作的问题。比如在推荐行业中,因为DSP的请求数据量特别大,一个星期的数据往往有上百G,这种级别的数据在训练的时候,直接套用一些算法框架是没办法训练的,基本上在特征工程的阶段就一筹莫展。通常采用采样、截断的方式获取更小的数据集,或者使用大数据集群的方式进行训练,但是这两种方式在作者看来目前存在两个问题:采样数据或者截断数据的方式,非常的依赖前期的数据分析以及经验。大数据集群的方式,目前spark原生支持的原创 2021-04-27 00:58:46 · 677 阅读 · 0 评论 -
WDL模型导出
WDL模型导出2 线上预估线上流量是模型效果的试金石。离线训练好的模型只有参与到线上真实流量预估,才能发挥其价值。在演化的过程中,我们开发了一套稳定可靠的线上预估体系,提高了模型迭代的效率。模型同步我们开发了一个高可用的同步组件:用户只需要提供线下训练好的模型的HDFS路径,该组件会自动同步到线上服务机器上。该组件基于HTTPFS实现,它是美团离线计算组提供的HDFS的HTTP方式访问接口。同步过程如下:同步前,检查模型md5文件,只有该文件更新了,才需要同步。同步时,随机链接HTTPFS机器并原创 2021-04-27 00:50:22 · 121 阅读 · 0 评论 -
Wide&Deep
排序模型进阶-Wide&Deep1 wide&deepWide部分的输入特征:raw input features and transformed featuresnotice: W&D这里的cross-product transformation:只在离散特征之间做组合,不管是文本策略型的,还是离散值的;没有连续值特征的啥事,至少在W&D的paper里面是这样使用的。Deep部分的输入特征:raw input+embeding处理对非连续值之外的特征做em原创 2021-04-27 00:47:43 · 114 阅读 · 0 评论 -
Tensorflow鸢尾花分类(数据加载与特征处理)
案例:DNN进行分类学习目标目标知道tf.data.Dataset的API使用知道tf.feature_columnAPI使用知道tf.estimatorAPI使用应用无2.1 数据集介绍对鸢尾花进行分类:概览本文档中的示例程序构建并测试了一个模型,此模型根据鸢尾花的花萼和花瓣大小将其分为三种不同的品种。鸢尾花从左到右:山鸢尾(提供者:Radomil,依据 CC BY-SA 3.0 使用)、变色鸢尾(提供者:Dlanglois,依据 CC BY-SA 3.0 使用)和维吉尼亚鸢尾(原创 2021-04-27 00:38:38 · 2229 阅读 · 2 评论 -
问答机器人代码封装和对外提供接口
代码封装和对外提供接口目标能够完成封装的代码能够使用grpc对外提供接口能够使用supervisord完成服务的管理1. 完成代码的封装代码封装过程中,需要注意,在整个结构中,我们有很多的结算结果是dump到本地的,为了防止后续每次的重复计算。所以laod的结果,应该提前加载到内容,而不是每次调用load义词1.1 完成意图识别代码封装完成判断用户意图的代码,即在使用fasttext的模型,判断用户输入句子的分类import fastTextimport refrom lib im原创 2021-02-21 23:12:16 · 370 阅读 · 0 评论 -
问答机器人排序模型4
问答机器人排序模型目标知道模型中排序中的概念和目的知道模型中排序的实现方法1. 排序模型的介绍前面的课程中为了完成一个问答机器人,我们先进行了召回,相当于是通过海选的方法找到呢大致相似的问题。通过现在的排序模型,我们需要精选出最相似的哪一个问题,返回对应的答案2. 排序模型的实现思路我们需要实现的排序模型是两个输入,即两个问题,输出的是一个相似度。所以和之前的深度学习模型一样,我们需要实现的步骤如下:准备数据构建模型模型评估对外提供接口返回结果2.1 准备数据这里的数据,原创 2021-02-21 23:11:40 · 448 阅读 · 1 评论 -
问答机器人介绍1
问答机器人介绍目标知道问答机器人是什么知道问答机器人实现的逻辑1. 问答机器人在前面的课程中,我们已经对问答机器人介绍过,这里的问答机器人是我们在分类之后,对特定问题进行回答的一种机器人。至于回答的问题的类型,取决于我们的语料。当前我们需要实现的问答机器人是一个回答编程语言(比如python是什么,python难么等)相关问题的机器人2. 问答机器人的实现逻辑主要实现逻辑:从现有的问答对中,选择出和问题最相似的问题,并且获取其相似度(一个数值),如果相似度大于阈值,则返回这个最相似的问题原创 2021-02-21 23:09:13 · 492 阅读 · 0 评论 -
10 闲聊机器人的优化
闲聊机器人的优化目标知道如何优化模型的效果知道常见的优化手段1. seq2seq中使用teacher forcing在前面的seq2seq的案例中,我们介绍了teacher frocing是什么,当时我们的输入和输出很相似,所以当时我们的teacher forcing是在每个time step中实现的,那么现在我们的输入和输出不同的情况下,该如何使用呢?我们可以在每个batch遍历time step的外层使用teacher forcing代码如下:use_teacher_forcing原创 2021-02-21 23:07:26 · 262 阅读 · 0 评论 -
Attention的原理和实现
Attention的原理和实现目标知道Attention的作用知道Attention的实现机制能够使用代码完成Attention代码的编写1. Attention的介绍在普通的RNN结构中,Encoder需要把一个句子转化为一个向量,然后在Decoder中使用,这就要求Encoder把源句子中所有的信息都包含进去,但是当句子长度过长的时候,这个要求就很难达到,或者说会产生瓶颈(比如,输入一篇文章等场长内容),当然我们可以使用更深的RNN和大多的单元来解决这个问题,但是这样的代价也很大。那么有原创 2021-02-21 12:18:14 · 2777 阅读 · 0 评论 -
Pytorch中的序列化容器
Pytorch中的序列化容器目标知道梯度消失和梯度爆炸的原理和解决方法能够使用nn.Sequential完成模型的搭建知道nn.BatchNorm1d的使用方法知道nn.Dropout的使用方法1. 梯度消失和梯度爆炸在使用pytorch中的序列化 容器之前,我们先来了解一下常见的梯度消失和梯度爆炸的问题1.1 梯度消失假设我们有四层极简神经网络:每层只有一个神经元[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PcP2KGJA-161357651147原创 2021-02-17 23:42:14 · 134 阅读 · 0 评论 -
循环神经网络实现文本情感分类
循环神经网络实现文本情感分类目标知道LSTM和GRU的使用方法及输入输出的格式能够应用LSTM和GRU实现文本情感分类1. Pytorch中LSTM和GRU模块使用1.1 LSTM介绍LSTM和GRU都是由torch.nn提供通过观察文档,可知LSMT的参数,torch.nn.LSTM(input_size,hidden_size,num_layers,batch_first,dropout,bidirectional)input_size:输入数据的形状,即embedding_di原创 2021-02-17 23:41:40 · 740 阅读 · 0 评论 -
循环神经网络
循环神经网络目标能够说出循环神经网络的概念和作用能够说出循环神经网络的类型和应用场景能够说出LSTM的作用和原理能够说出GRU的作用和原理1. 循环神经网络的介绍为什么有了神经网络还需要有循环神经网络?在普通的神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中,网络的输出不仅和当前时刻的输入相关,也和其过去一段时间的输出相关。此外,普通网络难以处理时序数据,比如视频、语音、文本等,时序数据的长度一般是不原创 2021-02-17 23:40:47 · 963 阅读 · 0 评论