![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 64
lloyd_chou
这个作者很懒,什么都没留下…
展开
-
大数据架构新解
大数据系统大体可以分成以下四个部分:1,数据采集层2,数据计算层3,数据服务层4,数据应用层下图是阿里巴巴大数据系统架构图:一、数据采集层数据采集主要分成以下三块数据:1,Web 端日志2,App 端日志3,第三方数据(比如 mysql 增量数据同步)Web 端和 App 端的日志数据都需要制定各个场景下的埋点规范,用来满足各种通用业务场景下(比如浏览、点击等)的数据分析。Web 端和 App 端数据采集一般都有各自的埋点 SDK 和对应的埋点管理平台,用来确保埋点数据的规范和准原创 2022-04-22 15:34:28 · 2610 阅读 · 0 评论 -
VAE新解(下)
1,框架构建还记得上篇提到的隐含变量Z吗?这个Z就是决定最终x形态的隐含变量。给定一个图片Xk,我们假定p(Z|Xk)是专属于Xk的后验概率分布,这个概率分布服从正态分布。得到了这个概率,我们可以从分布中采样,并且通过最终的解码器将图片再恢复出来。可以看到encoder部分做的事情就是,对相应的输入数据,通过网络(两个dense层)产生了均值和方差。为了使模型具有生成能力,VAE 要求每个 p(Z) 都向正态分布看齐。2,重参数技巧在实际应用过程中,z的值是一个随机变量,反向传播中,我们没有办原创 2022-04-22 13:52:25 · 346 阅读 · 0 评论 -
VAE新解(上)
vae初识vae,全称variational auto encoding。假设我们用一堆特征如,smile,beard,gender,glass等刻画一张人脸。我们把这些特征one-hot后,送入网络学习。最终得到这些参数特征。而我们vae最终学习的就是这些隐含的参数特征。当然这是假定人类头像服从高斯分布。事实上也是如此。人以类聚,物以群分。相同的事物存在一定的分布特征,这也是大自然的奇妙之处!VAE和GAN假如我们只有一堆样本,没有上面所说的一系列特征,怎么办。我们无法找到相应分布,无法计算k原创 2022-04-22 13:19:28 · 618 阅读 · 0 评论 -
如何去除填充对模型的影响
1、mask*负无穷大数,softmax归一化后等于0def scaled_dot_product_attention(q, k, v, mask): """计算注意力权重。 q, k, v 必须具有匹配的前置维度。 k, v 必须有匹配的倒数第二个维度,例如:seq_len_k = seq_len_v。 虽然 mask 根据其类型(填充或前瞻)有不同的形状, 但是 mask 必须能进行广播转换以便求和。 参数: q: 请求的形状 == (..., seq_len_q,原创 2021-10-20 17:23:19 · 168 阅读 · 0 评论 -
交叉商Cross-Entroy
交叉熵描述了两个概率分布之间的距离,当交叉熵越小说明二者之间越接近。尽管交叉熵刻画的是两个概率分布之间的距离,但是神经网络的输出却不一定是一个概率分布。为此我们常常用Softmax回归将神经网络前向传播得到的结果变成概率分布。softmax常用于多分类过程中,它将多个神经元的输出,归一化到( 0, 1) 区间内,因此Softmax的输出可以看成概率,从而来进行多分类。假设我们有一个包含k个元素的数组V,i表示V中的第i个元素,那么这i个元素的softmax输出就是:简单复习了Softmax,开始进入原创 2021-10-11 17:48:04 · 265 阅读 · 0 评论 -
sparse_softmax_cross_entropy_with_logits详解
函数:tf.nn.sparse_softmax_cross_entropy_with_logits(logits=x, labels=y)作用:计算logits和labels之间的稀疏softmax交叉熵,该函数为常用函数。函数:tf.nn.softmax_cross_entropy_with_logits(logits=x, labels=y)作用:计算logits和labels之间的softmax交叉熵,该函数为不常用函数区别:softmax_cross_entropy_with_logits原创 2021-10-11 10:47:15 · 1943 阅读 · 0 评论 -
快手推荐精排模型的发展史
1、参数个性化 CTR 模型 - PPNet 2019 年之前,快手 App 主要以双列的瀑布流玩法为主,用户同视频的交互与点击,观看双阶段来区分。在这种形式下, CTR 预估模型变得尤为关键,因为它将直接决定用户是否愿意点击展示给他们的视频。彼时业界主流的推荐模型还是以 DNN、DeepFM 等简单的全连接深度学习模型为主。但考虑到某用户个体和视频的共建语义模式在全局用户的共建语义模式基础上会有个性化的偏差,如何在 DNN 网络参数上为不同用户学习一个独有的个性化偏差成为了快手推荐团队优化的方向。在.原创 2021-07-29 12:39:14 · 2380 阅读 · 0 评论 -
tensorflow Serving架构详解和代码示例
1、参数个性化 CTR 模型 - PPNet 2019 年之前,快手 App 主要以双列的瀑布流玩法为主,用户同视频的交互与点击,观看双阶段来区分。在这种形式下, CTR 预估模型变得尤为关键,因为它将直接决定用户是否愿意点击展示给他们的视频。彼时业界主流的推荐模型还是以 DNN、DeepFM 等简单的全连接深度学习模型为主。但考虑到某用户个体和视频的共建语义模式在全局用户的共建语义模式基础上会有个性化的偏差,如何在 DNN 网络参数上为不同用户学习一个独有的个性化偏差成为了快手推荐团队优化的方向。在.原创 2021-07-26 19:24:54 · 1289 阅读 · 0 评论 -
glove词向量
词向量的表示可以分成两个大类1:基于统计方法例如共现矩阵、奇异值分解SVD;2:基于语言模型例如神经网络语言模型(NNLM)、word2vector(CBOW、skip-gram)、GloVe、ELMo。 word2vector中的skip-gram模型是利用类似于自动编码的器网络以中心词的one-hot表示作为输入来预测这个中心词环境中某一个词的one-hot表示,即先将中心词one-hot表示编码然后解码成环境中某个词的one-hot表示(多分类模型,损失函数用交叉熵)。CBOW是反过来的,分别用环原创 2021-07-26 18:05:26 · 221 阅读 · 0 评论 -
consul集群和服务发现
创建集群:1个client,3个server docker run -d --name=consul1 -p 8900:8500 -e CONSUL_BIND_INTERFACE=eth0 consul agent --server=true --bootstrap-expect=3 --client=0.0.0.0 -ui docker run -d --name=consul2 -e C...原创 2019-06-17 15:18:34 · 251 阅读 · 0 评论 -
zk集群和clickhouse集群搭建
第一步搭建zk集群stack.xmlversion: '3.1'services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2191:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: se...原创 2019-06-14 18:55:04 · 3970 阅读 · 0 评论 -
红黑树浅析
介绍红黑树是一个平衡的二叉树,但不是一个完美的平衡二叉树。虽然我们希望一个所有查找都能在~lgN次比较内结束,但是这样在动态插入中保持树的完美平衡代价太高,所以,我们稍微放松逛一下限制,希望找到一个能在对数时间内完成查找的数据结构。这个时候,红黑树站了出来。 阅读以下需要了解普通二叉树的插入以及删除操作。 红黑树是在普通二叉树上...原创 2019-02-09 17:24:08 · 123 阅读 · 0 评论